蛋白質領域的 " 通用大模型 " 來了！
參數量高達 1000 億，在這個領域尚屬首次，一出場就在 13 個任務上達到 SOTA ——
例如在抗體結構預測任務中，就超越了 " 老前輩 "AlphaFold2。
如果說之前蛋白質 AI 模型還大多停留在單一類型任務上，現在從蛋白質預測到蛋白質設計，各種細分任務都用一個 AI 就能完成。
這個蛋白質語言模型由百圖生科和清華大學共同開發，取名xTrimoPGLM。
所以，它究竟在哪些任務上取得了 SOTA，這個千億大模型又究竟是如何煉成的？背後的運作原理和實現方式是什麽？
未來在整個生命科學領域，是否也會像自然語言這樣，出現類似 ChatGPT 的通用大模型？
百圖生科的 CTO宋樂博士向我們分享了思考。
蛋白質的 " 通用大模型 " 長啥樣？
這個名叫 xTrimoPGLM 的蛋白質語言大模型，" 底子 " 是清華推出的 GLM（通用語言模型）算法。
選用這種算法，是因爲人類語言和蛋白質之間存在很多相似之處。
和語言任務一樣，蛋白質任務也可以被分爲理解（預測）和生成（設計）兩大類：
生成任務，指根據不同條件設計對應的蛋白質。如給定某個功能标簽，要求生成能實現這一功能的蛋白質；或是給一段蛋白質結構，設計一段可折疊成該結構的氨基酸序列等。
理解任務，指預測某種蛋白質的屬性。如蛋白質本身是酶，用 AI 預測它的最優催化溫度、催化效率、穩定性等。
但和人類語言一樣，在大模型出現前，蛋白質語言模型往往也 " 隻能幹好一件事 "，同時學多個任務，反而可能把原來的能力給 " 忘了 "。
（畢竟理解類任務通常用的是雙向注意力機制，類似完形填空；但生成類任務用的卻是單向的，像續寫作文一樣）
而GLM在框架設計上兼顧了大模型的理解和生成能力，因此也成爲團隊這次的基礎架構 " 首選項 "。
不過，相比自然語言模型，蛋白質在訓練數據、任務和框架适用性上又有所不同。
爲了更好地将 GLM 的優勢和蛋白質語言特性結合起來，xTrimoPGLM設計了一種新框架，其中增加了 MLM（掩碼語言模型）部分。
其中，紫色的 [ MASK ] 表示 MLM，用于提升模型理解能力；綠色的 [ sMASK ] 和 [ gMASK ] 表示 GLM，用于提升模型生成能力。
具體到細節上， [ sMASK ] 掩蓋序列中間的連續部分，模型預測時不僅要學會預測内容，還需要學會預測長度； [ gMASK ] 掩蓋除了上下文之外的其餘序列部分，以進一步提升模型的生成能力。
不過，即使是 Meta 的蛋白質理解模型 ESM，參數量也就在 150 億級别左右。
爲何 xTrimoPGLM 模型參數量會達到千億級？
宋樂博士介紹稱，這是因爲蛋白質的數據比想象中要更大：
目前可用的蛋白質序列已經有幾十億，而這些序列的長度平均又達到幾百甚至上千，乘起來就接近自然語言 token 的數量規模了。
更大的數據量，自然需要更大的模型來 " 吃 "。
在大語言模型已經達到千億級參數量的情況下，蛋白質語言模型理論上也應達到這一規模，才能實現比 Meta 的 ESM 更好的效果。
基于這一理念設計的 xTrimoPGLM，确實在理解和生成任務上均取得了不錯的效果。
斬下 13 個 SOTA，可直接用于行業
研究人員一共将 xTrimoPGLM 在 15 個任務上進行了測試。
事實證明，這個蛋白質語言模型在其中的 13 個任務上都取得了 SOTA。
這些任務從蛋白質結構、可發展性、相互作用到功能分爲四大類，具體又包括評估蛋白質特性，如溶解性、對蛋白酶的穩定性、溫度敏感性、蛋白質結合親和力、抗生素抗性等。
以抗體結構預測爲例。據宋樂博士介紹，和 AlphaFold2 相比，xTrimoPGLM 不僅效果更好，而且速度快了接近一個數量級。
之所以能做到在模型更大的同時，預測速度還更快了，是因爲相比 AlphaFold2，xTrimoPGLM" 跳了一步 "：
AlphaFold2 依賴多序列比對進行搜索，但 xTrimoPGLM 因爲已經 " 學會了蛋白質的語言 "，所以直接省去了這個步驟。
在此基礎之上，xTrimoPGLM 不僅能很好地提供蛋白質序列信息，模型能力也得到了增強。
宋樂博士認爲，不止是抗體結構預測，類似思路也能被推廣到更通用的蛋白質結構預測上去，這也在團隊的下一步計劃之内。
不僅如此，團隊還計劃把模型擴展到 RNA、DNA 等不同模态的生命科學數據上，甚至是跨細胞、跨組織層面，嘗試實現更加通用的生命科學大模型。
當然，目前這一階段的 xTrimoPGLM，就已經能直接提供給行業使用了。
從它能實現的任務來看，已經涵蓋了不少蛋白質下遊應用的場景，如涉及蛋白質的相關酶的設計，以及醫藥食品行業的一些消費級蛋白質預測任務，都可以直接用 xTrimoPGLM 去幫助解決。
據宋樂博士介紹，xTrimoPGLM 未來也會接入到百圖生科的 AI 生成蛋白平台AIGP中去，負責如抗體結構預測、親和力預測和蛋白質相互作用預測等任務。
One More Thing
目前來看，發展 " 通用大模型 " 的路徑主要有兩種。
一種是繼續擴大單個模型的參數量，試圖達到真正的單個 AGI 之路；
另一個則是通過多個模型聯合的如 Mixture of Experts 等方式，将負責不同任務類型的大模型之間聯合起來，以實現更多功能。
這兩條路各有其優缺點所在。如果要想繼續發展生命科學領域的 " 通用大模型 "，哪條路徑更有可能通往 AGI？
宋樂博士認爲 " 都有可能 "。
不過就百圖生科團隊而言，他們仍然采取多個大模型聯動的方式，來繼續探索通用大模型之路。
論文地址：
https://www.biorxiv.org/content/10.1101/2023.07.05.547496v1
