騰訊科技訊 9 月 4 日消息,據國外媒體報道,不管你怎麽看埃隆 · 馬斯克(Elon Musk),但當這位技術颠覆者下定決心做某件事時,他都會全力以赴。馬斯克旗下人工智能創企 xAI 剛剛上線了名爲 " 巨像 "(Colossus)的超級計算機,用于訓練 Grok 大語言模型(LLM),旨在與 OpenAI 的 GPT-4 一較高下。
使用 10 萬顆英偉達 GPU 122 天上線
xAI 周一宣布," 巨像 " 集成了 10 萬顆英偉達 GPU,使其成爲目前最大的人工智能模型訓練系統,并計劃在未來幾個月内将芯片數量翻一番。馬斯克聲稱,這台超級計算機是全球同類計算機中最強大的,僅用了 122 天就上線了。這也凸顯了人工智能行業内爲突破技術能力界限而展開的激烈競争。
" 巨像 " 坐落于美國田納西州孟菲斯市,它不僅是技術實力的象征,也代表着巨額的資金投入。其中,僅采購英偉達 H100 GPU(即 Hopper)估計耗資就達 30 億美元。每顆 GPU 的造價都不菲,約爲 3 萬美元,它是驅動高級人工智能模型訓練的核心力量。
馬斯克在宣布 " 巨像 " 上線的同時,也透露了未來的宏偉藍圖。他寫道:" 從開始到部署完成隻用了 122 天!" 他還補充說,随着五萬顆更先進的英偉達 H200 GPU 的加入,這台超級計算機的 GPU 總量将增至 20 萬顆。 這些較新的 GPU 設計在内存和處理能力方面得到了增強,承諾将提供更強大的計算性能。
" 巨像 " 超級計算機将服務于馬斯克旗下 xAI,該公司專注于前沿生成式人工智能技術的研發。它已經推出的項目包括 Grok,這是一個因支持言論自由而聞名的、有争議的聊天機器人。借助 " 巨像 " 無與倫比的計算能力,xAI 正加速推進 Grok 及其他人工智能模型的訓練進程,旨在解鎖更多功能,并實現性能飛躍。
馬斯克透露,經過 10 萬顆英偉達 H100 GPU 的訓練,即将問世的 Grok 3 将帶來前所未有的體驗,預示着重大突破。此前,xAI 已成功推出 Grok-1、Grok-1.5 及 Grok-2 的早期測試版,後者雖僅在約 1.5 萬顆 GPU 上訓練,卻已跻身頂尖人工智能大語言模型之列,展現了其巨大潛力。
随着 10 萬顆 GPU 的全面投入,Grok 的進化将更加迅猛。馬斯克于周一宣布,Grok 3 預計将于年底驚豔亮相。
值得注意的是,盡管 Grok 目前限于馬斯克 X 平台的付費用戶群體,但業界普遍猜測,其最終或将賦能特斯拉的人形機器人擎天柱,成爲驅動這一戰略項目的核心人工智能力量。馬斯克本人更是對擎天柱寄予厚望,預測其将爲特斯拉帶來每年萬億美元級别的利潤增長。
英偉達 GPU 來源成謎
關于這些 GPU 的來源,尚不确定馬斯克公司是否直接采購,亦或選擇通過雲服務提供商如甲骨文租賃的算力。此前有媒體報道稱,xAI 正與甲骨文磋商,拟耗資 100 億美元在未來幾年内租用其雲服務器。
然而,無可置疑的是,馬斯克旗下公司已直接購入了大量 H100 GPU。例如,這位特斯拉首席執行官曾将原定交付給特斯拉的價值 5 億美元的英偉達 H100 轉移給了 X。
10 萬顆 GPU 聽起來很多,事實也确實如此,但在科技巨頭如 Meta 面前卻顯得底氣不足。Meta 首席執行官馬克 · 紮克伯格(Mark Zuckerberg)預計,該公司至 2024 年底将購入約 35 萬顆 H100,整體芯片庫存或達 60 萬顆,總投資額預估高達 180 億美元。
此外,H100 芯片的充足儲備也加劇了人工智能頂尖人才的競争态勢。人工智能初創公司 Perplexity 的創始人兼首席執行官阿拉文德 · 斯裏尼瓦斯(Aravind Srinivas)透露,在招募 Meta AI 的資深研究員時,對方以紮克伯格擁有大量 GPU 資源爲由婉拒。他補充說:" 我試圖從 Meta 聘請一位資深研究員,你知道他們怎麽說嗎 ? ‘等你有了 1 萬個 H100 GPU 再來找我!’ "。
" 巨像 " 龐大規模引電力和用水擔憂
" 巨像 " 的發布雖令人驚歎,卻也伴随着環保争議。當地環保組織對其可能對孟菲斯基礎設施,尤其是電網與供水系統的影響表示憂慮,并要求評估冷卻系統對環境的潛在危害。不過,市政府官員已表态,xAI 正積極采取措施減輕這些顧慮,并助力當地基礎設施升級。
" 巨像 " 以其超大規模在人工智能計算集群領域脫穎而出,超越了谷歌與 OpenAI 等業界巨擘的現有芯片集群規模。谷歌的系統使用了 9 萬顆 GPU,而 OpenAI 的系統使用了 8 萬顆 GPU。此舉不僅标志着 xAI 在人工智能軍備競賽中的領先地位,也樹立了行業新标杆。面對激烈的競争,Meta、微軟及 OpenAI 等紛紛加大對 GPU 技術的投資,以強化自身人工智能實力。
英偉達數據中心在社交媒體上确認," 巨像 " 作爲 " 全球最大的 GPU 超級計算機 ",以驚人速度完成部署,并稱贊其在能效上的突破性表現。該公司在其帖子中說:" 巨像由英偉達的加速計算平台提供支持,在能源效率方面取得了突破性的表現。"
xAI 初期之所以選擇英偉達 H100 GPU,并計劃未來升級至更先進的 H200 型号,凸顯了人工智能行業的高風險與高回報特性。H200 GPU 憑借其卓越的規格,如 141GB HBM3E 内存及 4.8TB/s 帶寬,成爲當前 AI 領域的佼佼者,而英偉達最新 Blackwell 芯片的推出,則預示着性能标準的再次提升,盡管 H200 依然占據關鍵地位。
随着 " 巨像 " 成爲業界矚目的焦點,關于人工智能技術可訪問性及資源集中化問題的讨論或将更加激烈。資金雄厚的實體能夠部署如此強大的系統,無疑對小型組織及研究人員構成了顯著影響。
早在 2023 年 4 月,馬斯克就開始采購數以萬計的 GPU 以加速人工智能研發,而此前他剛剛公開呼籲整個行業暫停開發先進人工智能系統六個月。同年 3 月,馬斯克還提及了人工智能在 X 上的潛在應用,如檢測輿論操縱,而 " 巨像 " 這樣的 GPU 超級計算機無疑也爲 Grok 等大語言模型的訓練提供了強大支持。
馬斯克雖曾豪言将特斯拉打造爲 " 人工智能與機器人領域的領導者 ",但對 xAI 和 X 的巨大投入或許會對特斯拉自動駕駛技術及 Optimus 人形機器人所需的計算能力開發進程造成一定延緩。(編譯 / 金鹿)