出品 | 虎嗅科技組
作者 | 王沁
編輯 | 苗正卿
頭圖 | 視覺中國
據 The Information 矽谷時間 9 月 16 日報道,字節跳動正計劃與台積電合作,生産其自主設計的數十萬塊 AI 芯片,目标在 2026 年達到量産。字節在 AI 大模型基礎設施上進一步發力,并試圖減少對 AI 芯片壟斷者英偉達的依賴。
對于兩者合作造芯的消息,字節跳動在 18 日向科創闆日報否認,稱字節跳動在芯片領域确實有一些探索,但還處于初期階段,主要是圍繞推薦、廣告等業務的成本優化。
在 AI 大模型上發力頗多的字節跳動,對 AI 芯片也一直投入重金。據報道,今年,字節跳動訂購了超過 20 萬塊英偉達 H20 系列芯片,這是美國出口管制下允許向中國出售的最先進的芯片。該訂單價值超過 20 億美元,仍在等待全額交付。
字節跳動現在繞開英偉達,從台積電訂購數十萬塊自己的訓練和推理芯片。據估計,這些内部設計芯片的成本将比從英偉達購買芯片便宜數十億美元,但這些芯片仍處于設計階段。
早前,字節就已經在拼命囤芯片。據報道,不算上 2023 年新增的向英偉達采購的訂單,字節此前已經擁有的 A100 及其前代産品 V100 芯片總數接近 10 萬塊。
即使在美國的出口管制下,A800、H800 是作爲中國特供的閹割版芯片,國内互聯網大廠也不得不争着搶購。
據金融時報報道,2023 年百度、字節跳動、騰訊和阿裏巴巴向英偉達下達價值 10 億美元的訂單,采購約 10 萬顆 A800 芯片。
算力緊張之時,字節跳動内部也得在各部門之間緊着用芯片。去年 AI 業界 " 百模大戰 "、各大廠争先恐後自研大模型,據晚點報道,2023 年春節後,字節把一批原計劃新增給字節商業化技術團隊的 A100 勻給了 TikTok 産品技術負責人朱文佳,而朱文佳是字節大模型研發的負責人。
對于英偉達的壟斷,大模型廠商們當然要尋找替代品,包括字節。
字節跳動已經多次爆出開發芯片的傳聞。除此次與台積電合作的傳聞之外,早前字節就爆出與博通合作的傳聞。
今年 6 月,據媒體援引知情人士報道,字節跳動或與美國芯片設計商博通合作開發一款 AI 芯片,采用台積電 5 納米工藝,暫未流片(試生産)。但後來字節跳動否認了該傳聞。
早在 AI 大模型 2022 年底橫空出世之前,字節早已開始自主研發芯片的步伐。
據報道,在 2022 火山引擎原動力大會 " 上,字節跳動主管火山引擎的副總裁楊震原披露了字節的芯片自研進展,稱自研芯片涉及視頻編解碼、雲端推理加速等場景。
字節自主造芯的團隊起步于 2020 下半年,當時字節在内部已組建一個人數精簡的團隊。當時的芯片主要用于推薦算法和視頻處理。
對于 AI 芯片廠商,在占據大半壁江山的英偉達之外,其他 AI 芯片廠商也如燎原之勢崛起。
不同家 AI 芯片的技術路徑。圖片來源:Etched AI
AMD 的 MI300 系列芯片緊追英偉達其後,谷歌的 TPU 芯片專爲神經網絡設計,Groq 的 LPU 芯片号稱解決了計算密度和内存帶寬的瓶頸,Cerebras 大力出奇迹用整片晶圓造出盤子大的芯片,00 後哈佛辍學生創辦的 Etched AI 造出了給 Transformer 架構專用的芯片 ......
百花齊放,包抄英偉達。
台積電則是目前先進制程芯片代工的第一選擇。台積電幾乎全數延攬了高端芯片,尤其 AI 芯片代工。目前,蘋果、高通、AMD、英偉達、聯發科、博通等都是台積電的客戶。其中,蘋果是台積電第一大客戶,英偉達今年有望成爲台積電第二大客戶。
這次字節跳動與台積電合作的是 5nm 制程芯片,該工藝僅比台積電最尖端的方法落後一代。在 AI 芯片領域,目前英偉達的 A100 采用台積電的 7nm 制程技術,H100 采用了台積電最新的 4nm 工藝制造,這是當前最先進的 AI 芯片制造工藝。此外,英特爾 Gaudi 3 AI 芯片采用台積電 5nm 工藝,韓國 AI 半導體公司 DeepX 将與三星的芯片設計公司合作量産 5nm 的 AI 芯片。
字節跳動與台積電的合作,符合美國向中國公司的芯片出口限制。合規是字節跳動與台積電合作的前提。但美國政府可能會每年更新這些限制。
據報道,去年台積電總裁魏哲家曾帶隊來上海和中國大陸客戶開閉門會,表示隻要不在美國 " 實體清單 " 上,台積電就可以爲其代工。