作 者丨江月
編 輯丨陶力
當人們驚歎于 ChatGPT 的聰明時,不要忽略它的昂貴。這款應用的走紅,正把科技投資推向更高的山峰,資金和智力還要更集中地湧向 GPU 等硬件賽道。由于大模型持續叠代升級、應用加速延伸以及雲服務器急需擴容,AI 芯片的掘金人正在聚集。
2 月 9 日,21 世紀經濟報道記者在采訪中了解到,ChatGPT 的爆火令 AI 芯片開發者意識到,性能競争還将向進一步白熱化發展," 昂貴 " 的烙印越打越深,大語言模型的單次叠代硬件成本在突破 3000 萬人民币水平後,還在向更高攀爬。在市場格局方面,狂熱的市場可能會令海外壟斷進一步加劇。
亦有國産 GPU 創業人士向記者表示,國産通用型 GPU 開發仍在繼續,并希望借助此次産業鍊協同實現突破。
AI 芯片加速研發
2022 年 11 月 30 日上線的 ChatGPT,于短短兩個月内獲得 1 億用戶,是芯片領域在 2023 年面臨的第一個重要課題。記者從多家國産運算芯片開發商處了解到,芯片研發者正高度關注 ChatGPT 的市場吸引力,不少公司将其作為研究課題組織專門研究,以求及時把握相關商機。
"ChatGPT 應該是基于 GPT-3 下一代模型,也就是市面上傳聞的 GPT-3.5 推出的。" 在一家知名國産 GPU 開發商擔任産品經理的陸明向 21 世紀經濟報道記者介紹,他近期緻力于對 ChatGPT 的課題研究。
芯片研發商關注 ChatGPT,既因為這可能會改變産品定義,也因為預期市場對 AI 芯片的采購會迎來增量。據介紹,ChatGPT 的背後模型是 GPT ( Generative Pre-Training,生成式預訓練模型 ) ,GPT 這個名字展現了這款模型偏向 " 生成文本和代碼 " 的屬性。陸明指出,GPT 至今已經公開了三次叠代,期間,由于 GPU 芯片的飛速發展,三次叠代之間具有 " 時間短、性能增速快 " 的特點。
細數之下,第一代 GPT-1 誕生于 2018 年 6 月,訓練參數量為 1.2 億個,數據庫規模為 5GB;僅時隔半年之後,第二代 GPT-2 誕生于 2019 年 2 月,訓練參數量為 15 億個,數據庫規模為 40GB;第三代 GPT-3 誕生于 2020 年 5 月,訓練參數量飛躍至 1750 億個,數據庫規模達到 45TB。可以看到,第三代模型較第二代的訓練參數增長超過 100 倍,數據庫規模則增長超過 1000 倍。
近年來,從 AI 方向切入 GPU 開發,成為了不少中外創業者的選擇。無論是在美國還是中國市場,創業型 GPU 開發商往往能成為資本的寵兒。不過,由于科技巨頭自從去年第四季度開始财務表現下滑,硬件行業投資也随之降溫。不過 2023 年伊始,ChatGPT 又給行業帶來了新的話題。
眼下,ChatGPT 的爆火正呼喚更強性能 GPU 的面世,而這将促使資金加快流入行業。" 下一代大模型的參數量和數據庫規模,還将比上一代實現百倍、千倍的升級,這意味着如果底層的芯片性能止步不前,就會令訓練時長長達幾年,但顯然業内需要在半年或一年内就推出下一代更強的模型。" 陸明稱。
巨頭林立成本高昂
眼下,無論是大語言模型開發還是底層芯片供應,市場主流玩家仍然是國際巨頭。為了在格局演變中争奪優勢地位,巨頭公司的 " 燒錢 " 遊戲越來越旺。
21 世紀經濟報道記者從接近美國 GPU 龍頭開發商英偉達的人士了解到,該公司正是當前全球主流大語言模型開發者的主要芯片供應商。
" 英偉達正向全球主流的人工智能算法開發商提供芯片硬件,包括微軟、谷歌、Meta 等。産品叠代也在有序進行中,去年推出了最新的數據中心芯片,改善了架構。" 上述人士稱。
近期,科技巨頭争相湧入 ChatGPT 的競争中,硝煙四起,但在上述人士眼中,眼下人工智能研究市場上的各大巨頭此前維持着 " 強合作 " 關系。以在外界眼中正在 " 打架 " 的谷歌和微軟為例,兩者事實上都基于谷歌的 Transformer 架構進行大模型開發。" 不過在差異性的應用展開後,競争可能會升級。" 該人士評價稱。
想要留在 ChatGPT 戰場上,意味着更大規模的 " 燒錢 "。據業内估算,大語言模型的單次訓練硬件成本已經突破 3000 萬元人民币,加上投入的人力、智力、訓練時間成本,各大巨頭需要準備百億美元,直到真正的市場赢家勝出。
據 Lambda Labs 首席科學官 Chuan Li 介紹,擁有 1750 億個參數的 GPT-3 因其巨大的每秒浮點計算量,單次訓練成本達到 460 萬美元。陸明也向記者證實,眼下最主流的英偉達 A100 芯片,單次訓練的使用量應達到數百片,成本在 3000 萬元人民币左右。此外,服務器擴容和硬件升級的成本也将占據相當大的比例,一方面," 自從 2 月 7 日開始,ChatGPT 因訪問量巨大,回複速度已經大大減慢 ",另一方面," 維護 GPU 芯片的成本也非常高,芯片使用是有壽命的,損耗幾次就要另作他用。" 陸明稱。
以上還僅僅是大語言模型訓練的非人工成本,更大的成本集中在人力上。" 叠代模型的間隔已經縮短到半年,招募人才、改善算法的投資會持續高昂。" 陸明稱。
今年 1 月 23 日,微軟宣布将向 ChatGPT 開發商 OpenAI 追加數百億美元的投資,令人們覺得這些資金将湧向語言類機器人。不過,OpenAI 不僅是 ChatGPT 的開發商,旗下也擁有圖形人工智能 " 明星 " 産品 DALL · E。業内相信,微軟将分數年、數批向 ChatGPT 進行後續投資,但這個領域的 " 彈藥 " 儲備提升到百億美元已是不争事實。
中國玩家如何參與
短短幾日,多家中國公司宣布加入 ChatGPT 戰場。
中國的自主研發芯片将面臨怎樣的機會?市場分析認為,國産運算類芯片仍然面臨嚴峻的發展阻撓,但商業化前景得到進一步驗證,仍是芯片開發者的 " 好消息 "。
其中,百度和阿裡計劃推出生成式語言機器人應用,而京東計劃将在電子商務客服中應用相關技術。據悉,有道 AI 技術團隊已投入到 ChatGPT 同源技術(AIGC)在教育場景的落地研發中,目前該團隊已在 AI 口語老師、中文作文批改等細分學習場景中嘗試應用。該公司内部人士表示,這次技術更新是一次颠覆性的創新,但在細分場景的應用過程中實際上并不需要這樣一個大而全的模型,更需要一些縱深向的探索。
不少市場分析認為,中國互聯網公司擁有海量數據,這是進行自然語言開發的優勢。不過,關心中國科技自主創新的人士有更強烈的心聲:期待這個 " 科技爆點 " 在中國形成更長的産業鍊閉環。
海銀資本創始合夥人王煜全在 2 月 7 日發聲稱,中國不僅需要産生自主 " 大模型 ",也應當在人工智能上進行芯片技術的 " 彎道超車 "。
數位從事國産 GPU 開發的人士向 21 世紀經濟報道記者表示,在 ChatGPT 爆火的開端,國外芯片開發商仍然具有巨大的優勢,而中國芯片開發商面臨着巨大的阻力,這是由曆史技術積澱、市場關系和外部環境共同造成的。
不過,王煜全認為,在系統芯片異構計算時代,能夠号召擁有數據的機構參與預訓練,然後與擁有芯片計算架構的公司深度合作,這樣芯片的制造水平未必是最好,但芯片訓練的模型是最好的。他在采訪中建議,芯片企業、人工智能企業和應用企業三方應加強合作。
這意味着,身處人工智能落地的巨大市場、擁有本土算法公司的産業鍊網絡,國産芯片廠商仍擁有 AI 芯片的入場券。
(應受訪者要求,陸明為化名)
E N D
本期編輯 林海銘 實習生向添雨