出品|虎嗅科技組
作者|齊健
編輯|王一鵬
頭圖|視覺中國
3 月 11 日周一,馬斯克發推文說要在一周内開源 Grok。衆多開發者等着盼着過了一周,到周日 Grok 才正式将代碼推到了開源社區。
開源的 Grok-1 是一個基于 Transformer 架構的自回歸模型,參數規模達到 3140 億參數,是目前參數量最大的開源模型之一,Grok-1 與主流開源大模型一樣免費可商用。
在開源之前,Grok 最大的亮點是直接調用 X 中的實時數據和 " 幽默 "。
但開源版本的 Grok 已經打了折扣——在開發者手裏,Grok 不可能調取 X 的數據。從本次開源的信息來看,2023 年 11 月 Grok 上線以後調用過的 X 數據,也沒有被作爲訓練數據沉澱到 Grok 中。
除開源打折外,Grok 本身的性能也并不占優。剛上線時,Grok 的評分就遠落後于當時的 Palm 2、Claude 2 和 GPT-4。最典型的問題是,其支持的上下文長度隻有 8192 個 token。
Grok 取得的關注(上線 3 天在 GitHub 收獲 3.9 萬 Star), 似乎很大一部分都來自馬斯克本身的流量熱度。開源 Grok 被馬斯克說成是爲了踐行 "AI 造福全人類 " 的目标,但在與 OpenAI 的官司期間開源,有觀點認爲,Grok 開源的目的之一,就是爲馬斯克起訴、聲讨 OpenAI 提供的事實依據——這是一場由馬斯克親自操盤的 "AI 大秀 "。
開源 Grok 是作秀?
開源是一場讓企業與開發者跳雙人舞的 " 社區遊戲 ",但 Grok 這個 " 舞伴 ",完全不是普通開發者所能掌控的。
在 Grok-1 之前,很多開源大語言模型(LLM)的參數量隻有 70 億,LLaMA-2 開源的最大參數量也隻有 700 億。
而馬斯克直接開源了自家尺寸最大的 3140 億參數模型,據估計 Grok-1 需要約 628 GB GPU 内存才能勉強運行,普通開發者幾乎不可能在本地嘗試 Grok-1,對于雲服務用戶來說,至少需要 8 張 80GB 顯存的 A100 或 H100 GPU。
在 Grok 的 GitHub 讨論區有用戶留言表示:谷歌雲上 80GB A100 的 4 卡服務器每小時運行成本是 20 美元,這不适合我。(GCP instance with 4 A100 80GB; it cost around $20 per hour; this is not for me LOL.)
Grok 開源之後,筆者也加入了一個關于 Grok 的開源讨論群,但到了第二天,群内的讨論焦點,已經轉向了隻有 40 億參數的 Qwen-1.5。
不過,Grok-1 也支持 8bit 量化,一些開發者認爲,如果模型可以量化到 160GB," 可玩性 " 會大幅提高。算力不太寬裕的開發者,可以等到官方或者其他開發者發布量化版本後再嘗試。
至少從短期來看,開源 Grok 對普通開發者并不是很友好。那麽開源對于 Grok 本身來說,有什麽幫助呢?從傳統的開源視角來看,也很難說。
一些人認爲開源模型可以彙聚更多開發者力量,幫助優化模型。但今天的開源 AI 與傳統的開源軟件邏輯幾乎完全不同。代碼開源對于 AI 大模型的促進作用,并不像過去的開源軟件那樣明顯。
傳統軟件開發過程中,一款系統、工具或軟件開源以後,開發者可以基于共享代碼直接修複 bug,優化程序。然而今天的多數 AI 模型本身就是一個很大的黑盒,要從中找到問題,并對模型的底層算法進行訓練、調優并不容易。
"AI 大模型訓練是一個很‘集中’的工作。" 生數科技 CEO 唐家渝表示,AI 大模型很難通過 " 分布式 " 的開源來收集開發者的 " 貢獻 "。閉源反而是更能集中包括智力的資源、算力的資源,去做不斷地叠代的。
一些開發者認爲,對于開源 AI 模型的作者來說,最大的好處是打響知名度——以 Grok 目前的模型能力來看,隻有吸引一批開發者、公司、機構對模型進行試用、開發,逐步建立起對模型的認可,才能穩固其在 AI 大模型領域的 " 江湖地位 ",提高這款既不太新,也不太強的 AI 大模型的影響力。
閉源 Grok 把路走窄了?
從 AI 行業角度來看,Grok 的受關注度不高。由于模型跑分不高,過去幾個月中發布的 AI 大模型,在對比評測數據集得分時,幾乎很少有人對标 Grok。
從業務視角來看,Grok 在 X 平台中的表現也不理想。
Grok 上線到 X 後,與 ChatGPT Plus 一樣采取訂閱制,但 ChatGPT 的 GPT-3.5 免費開放,而 Grok 則一刀切,隻提供給 X Premium 會員。X Premium 會員的訂閱費用是 16 美元包月,168 美元包年。
由于一開始就設置了付費門檻,Grok 沒有吃到 X 龐大用戶基礎的紅利。
數據網站 SimilarWeb 的統計顯示,2024 年 2 月,x.com 的總訪問量爲 1.04 億次,平均訪問時長隻有 24 秒。對比其他幾家主流閉源 AI 的同期流量,chat.openai.com 訪問量爲 15.5 億次,平均訪問時長是 7 分 33 秒;gemini.google.com 訪問量爲 3.161 億次,平均訪問時長 6 分 22 秒;相對小衆一些的 claude.ai 訪問量爲 2086 萬次,平均訪問時間爲 5 分 48 秒。
X 與三款 AI 對話網站流量 數據來源 |SimilarWeb
雖然影響網站流量的因素很多,且 x.com 網站的受衆、屬性與其他幾家也有明顯差異,直接對比流量并不能完全說明問題,但訪問時長的巨大差異,也側面反映了 X 用戶大概率沒有跟付費的 Grok 聊太多。
馬斯克最早給 Grok 的戰略定位,可能更多是考慮促進 X 的 Premium 會員銷售,以補貼 X 的廣告收入。然而,如今 Grok 在 X 中發揮的作用很可能并沒有達到馬斯克的預期。與其一直在 X Premium 中 " 躺平 ",開源 Grok 或許能給馬斯克和 x.AI 打開新局面。
開源激起千層浪
在 AI 大模型熱潮中,靠開源大模型樹立行業地位的公司并不少見,包括 MistralAI 以及國内的智譜,阿裏的通義千問等。
深陷元宇宙泥潭的 Meta 更是依靠開源 LLaMA 模型打了一次翻身仗。在 2023 年中,全球市場最大的變數是 AI 大模型,而 Meta 最大的變數就是開源了一款 AI 大模型。
通過開源 LLaMA,Meta 展現了其在大型語言模型(LLM)領域的技術實力和開放創新的姿态,這在一定程度上幫助公司緩解了市場對其元宇宙戰略的擔憂。由此 Meta 的股價也在一年内翻了幾番,市值從 3155 億美元漲到 1.2 萬億美元,漲出了 19 個京東。
LLaMA 的開源,特别是其成本效益高的特點,對 Meta 而言具有戰略意義。與 Google 和 Microsoft 等競争對手的 AI 大模型相比,LLaMA 的小巧和高性能使得 Meta 能夠以較低成本部署高效的 AI 模型。這不僅提高了 AI 技術的普及率,也爲 Meta 未來在各種應用和用例上的廣泛部署提供了可能。有分析人士認爲,基于 Meta 的業務範圍,從聊天機器人到遊戲,再到未來的生産力軟件,生成式 AI 預計将帶動一個價值超過 500 億美元的市場。
雖然 LLaMA 最初的開源一直被業界傳說是無意間的 " 洩露 ",但其最終的結果卻爲 Meta 在 AI 大模型行業奠定了技術和市場的領導地位。
" 開源 " 的戰略邏輯,對于馬斯克來說并不陌生。
2014 年,馬斯克開放了特斯拉的 350 多項電動車專利技術。當時馬斯克在接受采訪時表示," 特斯拉的首要目标是加速全世界向可持續能源轉變 "。事實證明,馬斯克大公無私的 " 開源 ",在後來使得他自己成爲了最大的受益者。
特斯拉開放專利的做法,一舉将全球汽車市場的水攪渾。大量新能源車企借助特斯拉的專利異軍突起,直接激活了整個新能源汽車市場。而特斯拉作爲行業領軍企業,則借助長期積累的行業口碑和技術開發實力,持續保持了行業的領先地位。
雖然開源 Grok 大概不會像特斯拉開放專利那一石激起千層浪,改變整個 AI 行業的格局,但對于目前的 x.AI 來說,應該也會産生一些積極的影響。