不做大模型，就沒有算力用。
這是 ChatGPT 點燃 AI 風口後，國内某 top3 高校 AI 實驗室的殘酷現狀。
同一個實驗室裏，非大模型團隊 6 人用 4 塊 3090 卡，比起同實驗室的大模型團隊 10 個人用 10 塊 A800 卡，本就已經不算富裕。
現在，校企合作也更偏愛大模型。去年 11 月 ChatGPT 發布後，與非大模型團隊合作的企業驟減，近期找上門的，也是張口就問：
" 你們做大模型不？"
做，有高校和企業的通力支持；不做？那就隻能眼睜睜看着算力花落别家。
哪怕某量化私募基金的有 10000 張 A100 卡，還對高校研究團隊開放申請，也不見得能落一張到你頭上。
" 要是我們組能分到一些就好了。" 看到這條微博，非大模型團隊帶隊的數據科學方向博士小哥羨慕不已，因爲缺算力，他都愁得快仰天長嘯了：我們也值得投資啊！！！
現在，大夥争先恐後撲向 ChatGPT 背後 GPT-3.5 般的各種大模型，算力流向亦然。
其他 AI 領域本就不足的算力更荒了，尤其是國内學界手裏的算力分配下來，貧富差距肉眼可見。
一整個實驗室就 4 塊 3090 卡
巨大規模算力以月爲單位的租用成本，對研究團隊來說不是小數目。大模型正當其道，學界研究大模型的實驗室或團隊擁有算力資源的優先分配權。
就拿小哥在學校的親身體驗來說，在他們研究室，大模型小組 10 個人有 10 塊 A800 卡可用，而另一個研究傳統機器學習方向的實驗室，整個實驗室隻有 4 塊 3090 卡。
擁抱主流趨勢是一重原因，另一重原因是實驗室需要運轉和維護的經費，獲得撥款的一種形式是申請國家項目，但必要步驟是提供論文成果。
雙重原因下，本就不多的算力資源，不得不優先分配給大模型這樣熱門且相對容易出成果的研究。哪怕對學界來說，訓一個大模型其實練不太動——因爲數據、算力和資金都有些捉襟見肘。
爲了獲得更多的資源，有的非大模型實驗室甚至額外專門成立研究大模型的團隊。
當然，想要獲得資金和資源，校企合作也是不可或缺的一種方式。
這種推動産研融合的重要支撐形式持續已久，2020 年，KDD 中校企合作論文占比超過 50%，這個比例在 ICCV 中達到 45%。
舉例來說，2021 年，清華大學 KEG、PACMAN（并行與分布式計算機系統）、NLP 等實驗室着手推進訓練千億參數的稠密模型，但團隊用于訓練模型的計算資源并不充足。最終，校外企業智譜 AI 租用了近百台 A100 的服務器，免費提供所需算力，這才有了雙語預訓練語言大模型 GLM-130B 的誕生。
△GLM-130B 的任務表現
但在衆人争先恐後撲向 GPT-3.5 般大模型的當下，非大模型團隊開始不太好談這類合作了。
去年 11 月 ChatGPT 發布後，與小哥所在團隊洽談校企合作事宜的公司數量急劇減少。在其他高校，AI 領域的非大模型團隊也總是面臨企業詢問，" 要不要 / 會不會做大模型 "。
本就稀缺的算力，在學界有成爲追逐熱點的砝碼的傾向，算力資源分配的馬太效應由此逐漸擴大，帶給學術研究很大困擾。
ChatGPT 加劇算力分配貧富分化
算力是 AI 飛速發展必不可少的指标，2018 年，OpenAI 發布的報告中點出一個算力趨勢：
自 2012 年以來，AI 訓練任務所運用的算力每 3.43 個月就會翻倍。到 2018 年，AI 算力需求增長了 30 萬倍。
産學研對算力需求暴增，我們能提供的算力有多少？
據中國算力集團統計，截至 2022 年 6 月底，我國數據中心機架使用總規模超過 590 萬标準機架，服務器規模約 2000 萬台，算力總規模排名全球第 2。
這個排名還算不錯，但攤開來看仍舊遠遠不夠，畢竟放眼全球，沒有哪個國家不是嗷嗷待哺，等着更多的算力資源 " 投喂 "。
再退一步講，買得起顯卡，擁有的算力上去了，電費也是天文數字。
況且我國還有特殊情況——
開放原子開源基金會業務發展部部長朱其罡在本月舉辦的 CCF YOCSEF 上發言闡述現狀稱，超算領域的核心技術，一個是 IBM LSF 超算系統，一個是開源系統。目前，國内多數超算中心都基于開源系統做封裝，但這個版本調度資源的效率和能力都有很大的提升空間。
以及，因爲衆所周知的原因，A100、H100 這倆目前性能最強的 GPU，還沒找到可規模替代的方案。
△英偉達 A100 顯卡
綜上，算力不夠已是積弊，但 ChatGPT 時代，算力需求劇烈擴張，除了大量訓練算力，大量推理算力也需要支撐。
所以現在的情況是，因爲 ChatGPT 顯示出大模型的推理能力，訓練和研究大模型的算力需求增加；同時因爲大模型熱度爆棚，蜂擁至大模型的算力資源也增加。
分配給大模型領域的算力資源豐富起來，其他 AI 領域缺衣少食的情況逐漸加劇，研發能力受到掣肘。
可以說，ChatGPT 成爲如今的 AI 屆白月光後，加劇了算力分配的貧富分化。
這般 " 富 " 甲一方的大模型，是不是 AI 研究路徑上最好的？還沒人能夠回答。
但值得引起注意和重視的是，GPT 系列爲首的大模型不應該吸引全部目光，整個 AI 領域還有各種各樣的研究方向，還有更加細分的垂直領域，以及帶來更多生産力的模型和産品。
當 ChatGPT 的熱度趨于平緩，學界的算力資源分配差距會縮小嗎？
所有非大模型方向的實驗室和團隊，恐怕都在期待之中。
— 聯系作者 —
