美國商務部長吉娜 · 雷蒙多 ( Gina Raimondo ) 在 2024 年 1 月 26 日接受英國媒體采訪時宣布了限制外國客戶、尤其是中國客戶使用美國雲計算廠商的服務訓練 AI 大模型的計劃。雷蒙多的原話是:" 我們不能允許中國或者其他我們不希望的玩家使用我們的雲服務訓練他們的模型。我們引入了芯片出口禁令,但那些芯片正在被美國的雲計算數據中心使用,所以我們需要考慮關閉這些渠道,以避免潛在的惡意行爲。"(注:原文可參見 1 月 27 日的英國媒體電訊)
毫無疑問,上述舉措把美國對華科技制裁推到了一個新的高度,對中國人工智能産業的潛在破壞力很大。雖然我不是芯片或人工智能方面的專家,但幸運的是,我在這些産業有很多朋友。在得知這個消息之後,我馬上征詢了他們的看法,學到了很多東西。他們普遍認爲,美國商務部的新舉措從宏觀角度看是可以理解的,但是爲什麽要在這個時間點推出,就有些耐人尋味了。
過去一年多,中國的互聯網大廠和科技公司自稱在 AI 大模型領域取得了顯著戰績," 與 OpenAI 的差距隻有半年到一年 "。就在前幾天,周鴻祎還宣稱 " 去年我們看大模型像原子彈,今年再看大模型像茶葉蛋 " ——從資本市場炒作的角度看,上述說法很有道理(尤其是有利于大股東離婚減持);從技術研發的角度看就完全不是那麽一回事了。事實上,中國科技行業對 OpenAI 的 " 趕超 ",離不開下面三個因素的幫助:
第一,對境外開源大模型的吸收借鑒。
GPT-3 以上的版本是不開源的,但是國外并不缺乏開源大模型可供借鑒(抄襲),其中最受歡迎的就是 Meta 于 2023 年 2 月發布的 LlaMA,以及 7 月發布的 LLaMA2。LLaMA 本來隻是有條件地對學術界開源,但很快遭到大規模洩露,Meta 索性将其後續版本做成了全面開源。
LLaMA2 有三個公開版本,分别擁有 70 億個、130 億個和 700 億個參數;Meta 還宣布會在合适的時候公布更複雜的版本。雖然 LLaMA2 還是比不上 GPT-4,但是作爲一個借鑒(抄襲)的原點已經足夠了。衆所周知,國内一部分創業公司(名字就不點了)的 " 自研大模型 " 就是拿 LLaMA2 套皮的,就連參數名稱都懶得改。
第二,通過租用 GPT 接口,對 GPT 模型參數進行 " 蒸餾 "。
一個月前,外電報道稱字節跳動旗下産品疑似因爲調用 GPT 接口訓練自己的大模型而被封号。其實這種事情,所有人都在做,圈内俗稱 " 蒸餾 "。所謂 " 蒸餾 ",就是反複與 GPT 進行海量對話,通過 GPT 返回的數據對自己的模型參數進行調節;簡而言之,就是讓 GPT 幫你訓練自己的模型。
隻要有足夠的人力、财力,任何公司都可以通過先抄 LLaMA2、再租用 GPT 進行 " 蒸餾 " 的方法,在較短的時間内搞出一個像模像樣的 " 自研大模型 ",在測試中的表現甚至真能做到 " 與 OpenAI 隻差半年到一年 "(具體差多少取決于花了多少錢做蒸餾)。很可惜,通過這種方法搞出來的大模型永遠無法趕超 OpenAI,就像在考試時抄學霸試卷的學生永遠不可能超過學霸——對了,還得小心别被監考老師抓住。
第三,租用 Azure、AWS 等海外雲計算服務,解決算力瓶頸。
從 2022 年開始,美國不斷收緊對華芯片出口禁令。雖然英偉達多次推出了對華 " 特供版 "GPU,但是美國商務部随即補上了漏洞,現在可供利用的漏洞已經很小了。公允地說,哪怕不考慮芯片禁令,中國公司也很難搶到足夠的 GPU,因爲英偉達的高端 GPU 一直供不應求,亞馬遜等北美大廠經常是 " 出了新型号先搶一萬張 ",來自中國的客戶的優先級肯定不會太高。
我們知道,AI 大模型使用的算力分爲 " 訓練 " 和 " 推理 " 兩種,前者要求明顯更高。因此,中國科技公司普遍采取了 " 訓練與推理分開 " 的模式,把一大塊訓練業務交給微軟 Azure、亞馬遜 AWS、谷歌 GCP 等北美雲計算大廠去做,因爲隻有它們有足夠的高端算力;至于推理,則可以全部放在國内(合規要求也必須在國内),甚至在硬件端搞一些 " 國産替代 "。這個玩法,實際上是變相繞過芯片禁令,芯片雖然沒進口到中國,相關算力卻是中國公司在使用。美國監管當局肯定早已注意到了這裏存在的漏洞,隻是以前沒管,現在決定出手管了。
當然,美國商務部的提議會不會訴諸實踐、合不合法(此處是指美國的國内法),是值得争議一番的。不過在中美科技競争的大背景下,這個提議得到實施的概率很大,美國雲計算廠商的大門早晚是要對中國客戶關上的。真正需要回答的問題有兩個:
爲什麽美國要在這個時候推出新的禁令?
那些認真想趕超 GPT 的國内廠商,接下來去哪裏找算力?
先說第一條。從商業或科技邏輯講,美國商務部在此刻提議新的禁令,有點不太好理解:中國與美國在 AI 大模型方面的差距仍然很大,所謂 " 大模型從原子彈變成了茶葉蛋 " 純粹是 A 股公司大股東爲了減持而吹的牛逼,業内人士沒人相信,美國人應該更不信。允許中國公司租用美國雲計算資源,在短期内不會影響矽谷的科技霸權,反而會帶來一筆不菲的收入。芯片禁令對中國 AI 研發的限制已經夠大了,有必要更進一步、把事情做絕嗎?微軟、亞馬遜這些雲計算巨頭爲什麽不阻止美國商務部把事情做絕呢?
對于上面的疑問有兩種解釋路徑。一種是政治解釋:今年是大選年,美國兩黨在互相比較誰對中國更強硬," 戰場州 " 的選民普遍對全球化沒什麽好感,此時加強對華科技禁令是一張比較好的牌。至于矽谷科技巨頭,這幾年一直是它們春風得意、收入和利潤猛增的時刻,失去一點來自中國客戶的雲計算收入應該不是大問題,沒人願意爲此事死磕。
另一種則是科技解釋:下一代 AI 大模型(GPT-5 及其競争對手),需要的訓練算力可能會升級到 " 萬卡規模 " 乃至 "N 萬卡規模 "。因爲在現有基礎上進一步提升大模型的能力,必須 " 大力出奇迹 "、從資源規模上想辦法,就像當年的核武器從 2 萬噸量級飙升到千萬噸乃至 1 億噸一樣。如果中國公司打算追趕到這一步,那它們對美國雲計算資源的需求就會上升一個數量級;換個角度講,美國本土客戶的需求也會上升一個數量級,導緻微軟、亞馬遜手中的高端算力更加供不應求。
因此,美國商務部此時提出對華雲計算服務禁令,一方面是提前封死中國公司追趕的道路,另一方面也有助于把寶貴的算力資源留給美國本土公司使用。在市場經濟環境下,價高者得,發生什麽事情很難說;所以最佳競争策略是把中國公司排除在市場經濟之外。微軟、亞馬遜肯定也知道自己手裏的算力會更加精貴、不缺客戶,所以也沒有動力提出反對。
現在輪到第二個問題:對于那些真心想追上世界領先水平(而不是炒高股價、離婚減持)的中國科技公司而言,接下來要去哪裏找算力呢?答案取決于它們願意付出多高的代價,而且不僅是經濟代價。哪怕美國商務部正式頒布并嚴格執行禁令,中國公司要通過注冊海外分支機構、尋找海外合作夥伴的方式去變相購買美國雲計算服務,應該也是有門路的。問題在于一旦被抓,後果可能很嚴重——永遠不要低估美國監管者下死手的力度。國内互聯網大廠多是美國、香港上市公司,它們有沒有膽子爲了 AI 大模型冒如此巨大的風險呢?
如果不考慮上述冒險做法,那就隻有立足于發掘國内算力資源了。目前 AI 相關芯片領域所有的 " 國産替代 " 都集中在推理端,因爲推理所需算力要求不高。在訓練端,全世界都存在對英偉達(設計)+ 台積電(制造)的替代需求,可是全世界都沒做到(包括美國自己的科技大廠)。或許再過五年、十年,總歸有人能拿出替代方案,但那時的世界又不一樣了。上文提到過,目前國内自研 AI 大模型與 GPT 的差距還是明顯的,而且 GPT 自身也在迅速叠代,訓練算力的需求一時半會是下不來的。
目前國内的幾家主流大廠(大家都知道是哪幾家),平均每家手頭隻有 1000-2000 張用于通用大模型訓練的顯卡,有的多些、有的少些。有人猜測,某些大廠可能在海外囤積了大批顯卡;不過考慮到近年來英偉達顯卡一直供不應求,就算 " 囤積 " 了,規模也不會太大。即将到來的 GPT-5 時代,可能是一個 " 萬卡規模 " 的時代,全國現有的符合要求的顯卡加起來可能都滿足不了哪怕一個自研大模型的訓練需求。怎麽辦?我也很想知道。
附帶說一句,在 2022 年 11 月 ChatGPT 橫空出世之前,中國科技公司囤積英偉達顯卡的最強動力,竟然是爲雲遊戲做準備——當時很多互聯網大廠是真心相信雲遊戲是未來、而且能迅速兌現的。無心插柳柳成蔭,雲遊戲雖然一直沒起來,爲雲遊戲準備的顯卡卻成了中國 AI 大模型的救命稻草。
真是令人啼笑皆非:過去三年,中國遊戲行業遭受了來自四面八方的一輪又一輪的抨擊,夾起尾巴做人,在社交媒體上動不動就能看到 " 遊戲算科技嗎 "" 遊戲有什麽技術含量 " 的說法。現在,居然是遊戲行業要在拯救中國 " 硬科技 " 的過程中,發揮舉足輕重的作用。我們所有人都欠遊戲行業一個感謝。那些一貫輕視、侮辱、诋毀遊戲的人,還欠遊戲行業一個道歉。我等待着他們的道歉,我希望能聽到他們的道歉!