人工智能熱潮之下,新湧入這一賽道的公司意識到了一個大問題:想做大模型的公司太多,GPU 已經不夠用了。
有媒體近期獲悉,用于訓練 AI 的 GPU 的需求激增,包括亞馬遜、微軟、谷歌和甲骨文等主要雲服務供應商,都已經開始限制算力供給,此外,服務器硬件也越來越難租到了,有公司對媒體表示,租賃硬件需要等待數月之久。
GPU 需求爆炸讓 AI 淘金浪潮的 " 賣鏟人 " 英偉達賺得盆滿缽滿,也大受資本市場認可。今年以來,英偉達股價累計漲超 88%。
AI 引爆 GPU 需求
風險投資公司 Root Ventures 的工程師 Yasyf Mohamedali 對媒體表示,他已經花了數周時間試圖從亞馬遜 AWS 和谷歌雲租賃一台 AI 服務器,但一直沒有成功。直到最近才好不容易從一家小初創企業那裏通過轉租拿到了一台。
他認爲:
" 除非你已經(和主要雲服務供應商)簽訂了現有合同,或者預付了費用,否則幾乎不可能租到服務器。"
據兩名知情人士對媒體表示,由于 GPU 短缺,亞馬遜的新客戶很難立即獲得 GPU 服務器。亞馬遜的客服建議他們租用搭載亞馬遜内部芯片 Trainium 的服務器,但絕大多數開發團隊都更習慣使用 GPU 服務器。
而微軟甚至在嘗試說服一些客戶放棄已經預付款但還未投入使用的 GPU 服務器,以便将這些服務器轉售給其他公司。
此外,規模更小的甲骨文在過去一個月裏,拒絕了所有 AI 新客戶,理由是 GPU 服務器容量有限。
有市場分析指,這次的 " 缺芯 " 難題和 2020 年下半年開始的車企缺芯潮不一樣,GPU 的主要供應商英偉達并不存在供應鏈方面的阻礙。GPU 短缺主要是因爲雲廠商沒有預見到 AI 需求會如此強勁,沒有訂購足夠的芯片。
去年科技企業集體降本過冬,也是導緻本輪 GPU 短缺的因素之一。Wedbush Securities 分析師 Matt Bryson 認爲,由于雲廠商支出增長放緩,因此在過去一年縮減了新建服務器的規模。
不過,他也表示,目前英偉達積壓的訂單在 2-3 個月左右,随着産品的逐漸交付,GPU 短缺難題在未來或有所緩解。
創業公司前來救援
在亞馬遜、微軟、谷歌、甲骨文等巨頭之外,一些小廠商開始湧入這一賽道 " 救急 "。這些公司通過大批量從英偉達那裏下單獲得 GPU,然後再把 GPU 轉租出去來賺錢。它們的方案往往比雲服務巨頭更有性價比。
例如,主要雲服務的收費模式是按季度、年的時間來收費,但服務器通常不會 24 小時運轉,這就意味着買了雲服務的公司,是在爲他們沒有使用的服務器容量付費。
而初創公司 Banana 則以使用的秒數來租賃 GPU 服務器,對體量不大的開發團隊而言頗具吸引力。
據媒體報道,目前類似 RunPod、Crusoe、Lambda Labs 等 GPU 提供商的服務器容量都已接近上限,這些公司都在加緊擴容。Lambda Labs 在 3 月獲得了 4400 萬美元融資,全部投入于購買更多芯片。