終究還是 " 實用主義 " 在作祟
2022 年底,ChatGPT 的出世,讓 " 大模型 " 成爲全球科技領域的關鍵詞。整個 2023 年,所有模型玩家都在以 GPT-4 作爲目标進行追趕。原因很簡單,在這場先發制人的遊戲裏,推理能力被認爲是唯一的衡量标準。
全球所有的科技公司裏,蘋果無疑是個 " 另類 "。在目前所有的主流智能手機廠商乃至全球科技公司裏,蘋果是唯一一家還沒有正式發布大模型産品的廠商,甚至都很少正面提及。就連馬斯克在去年 7 月成立的人工智能公司 xAI,馬上就要發布首個 AI 大模型 Grok 1.5。
而在已披露蘋果大模型進展的有限信息裏,蘋果給人一種感覺:相比其他科技公司,蘋果并不追求大模型性能的絕對領先,而是更看重大模型落地的可能性。
我們應該如何理解蘋果在大模型上的 " 遲鈍 "?選擇 " 務實 " 路線的蘋果,又會在大模型故事裏扮演怎樣的角色?
01 雙面 " 蘋果 "
去年的大模型風潮中,手機廠商成爲一股不可或缺的 " 力量 "。
2023 年,華爲發布了盤古大模型,并率先将大模型接入手機;vivo 則推出了主打輕量化的藍心大模型;三星也公布了其自研的生成式人工智能模型 " 三星高斯 ",并在今年推出了旗下首款 AI 手機 Galaxy S24 系列手機。
唯獨蘋果是個例外。作爲全球最大的科技公司,蘋果在去年對這項過去十年中最重要的科技發展——生成式人工智能,很少正面提及。
在一季報的電話會議上,蘋果 CEO 庫克隻是輕描淡寫地表示,蘋果會将 AI 應用到更多産品上,但要深思熟慮。甚至在 6 月的開發者大會 WWDC 上,蘋果對人工智能和大模型更是隻字未提,隻是簡單提到了 " 機器學習 " 這個詞語。
在目前所有的主流智能手機廠商乃至全球科技公司裏,蘋果是唯一一家還沒有正式發布大模型産品的廠商。就連馬斯克在去年 7 月成立的人工智能公司 xAI,就要發布首個 AI 大模型 Grok 1.5。
看上去,蘋果似乎 " 缺席 " 了這場大模型的賽跑。但事實可能并非如此。
種種迹象顯示,蘋果在 AI 領域的布局比我們想象得要更深。據美國媒體報道,2023 年 7 月,蘋果建立了自己的大型語言模型 Ajax,并推出代号爲「Apple GPT」的内部聊天機器人,用于測試 Ajax 的功能。
據知情人士分析,Ajax GPT 的訓練參數數量超過 2000 億。參數反映了機器學習模型的規模和複雜程度;參數數量越多,表示複雜程度越高,需要的存儲空間和計算能力也越大。要知道,GPT-3.5 的訓練參數規模在 1750 億,也就是說,如今的 Ajax GPT 或許在功能上比 OpenAI 的 GPT-3.5 更強。
從投入規模上看,Ajax GPT 所在的生成式 AI 項目每年将花費蘋果約 10 億美元。另外,根據 The Information 報道,如今蘋果公司将把訓練最先進模型的預算增加到每天數百萬美元,而這隻是對開發其中一種模型的投入。
與很多人印象不同,蘋果還是最熱衷于投資 AI 的科技公司。自 2010 年以來,在 FAMGA 的公司中,蘋果共收購了 20 家 AI 公司,位列第一。同期,谷歌和微軟分别收購了 14 家和 10 家。
更加有趣的事情是,在投入研發大模型的同時,蘋果還花了相當大的精力去探索大模型落地的可能性。
02 押注端側大模型
今年下半年以來,AI 硬件是所有科技公司共同發力的方向。在真正 "AI-native 硬件 " 誕生之前,把 LLM 和現有終端融合更具有落地可能性。手機、PC、車車等硬件廠商都有極大動力去落地大模型,這其中以手機廠商最爲激進。
但遺憾的是,到目前爲止,大模型與現有智能硬件之間的融合并不流暢。
就拿手機來說,受限于手機内存的運存處理能力限制,大模型還無法被搬到手機上。聯發科就曾透露,130 億參數大模型至少需要 13GB 内存,再加上 6GB App 保活、4GB 安卓 OS,即總的手機内存容量需求将達到 23GB。
23GB 手機内存是個什麽概念呢?去年上市最新的 iPhone 15 的運行内存大小隻有 6GB,iPhone15 Pro 和 iPhone15 Pro Max 運行内存也隻有 8GB。這意味着,想要在手機上提升跑大模型,内存容量必須有大幅度提升。
所以,目前大多數大模型都是在雲端運營,固然參數規模更大、算力更高等優勢,但缺點也很明顯。當用戶在弱網乃至離網環境下,無法使用大模型功能,甚至還有用戶隐私安全洩露的風險。這對極爲重視用戶體驗的蘋果來說,是無法接受的。
而蘋果就是端側大模型的堅定支持者。多位前蘋果機器學習工程師稱,出于提高隐私和性能的考慮,蘋果的領導層更傾向于在設備上運行大模型,而不是在雲服務器上。
要想落地落地端側大模型,除了内存容量提升,模型本身的壓縮和優化也是落地大模型的一種方式。前者顧名思義就是壓縮模型的規模,讓模型更注重關鍵場景的精度和效果;後者則是通過技術手段對模型進行優化,通過内存管理減少内存搬運,進而降低功耗。
目前,大部分科技公司把更多精力放到訓練參數更少、體量更小的 " 小模型 "。去年 12 月,微軟正式發布了參數規模僅有 27 億的 " 小模型 "Phi-2,并宣稱該模型性能夠 " 吊打 " 體量在其 25 倍以上的大模型。
但蘋果卻另辟蹊徑,選擇了後者。此前,蘋果發布的論文顯示,它嘗試利用閃存來解決大模型在塞進手機時遇到的内存不足的問題。簡單來說,蘋果就做了兩件事情,優化閃存交互和内存管理。
說起來,計算機的各種硬件設備和我們人類的軀體非常相似,計算機的 CPU 好比人類的大腦,其中也有用來存放程序和數據的記憶裝置,相當于我們腦袋中的記憶體。
計算機的記憶體簡單分爲内存和閃存兩種。内存用于臨時存儲那些需要随時訪問的數據和指令,它提供高速的讀寫,有較高的存儲密度。而閃存正相反,它讀寫較慢,适用于長期數據的存儲。從特性上看,内存更适合需要頻繁讀寫的大模型。但正如上文所說,内存現階段性能不夠,僅憑它一個撐不起大模型。
而蘋果的做法是,允許模型重複使用部分已處理的數據,從而減少頻繁讀取内存的需要,提高大模型運行效率;二是通過對數據進行更有效的分組,令大模型能夠更快地從閃存中讀取數據,從而加速 AI 理解和生成語言的能力。
通過這一方式,蘋果可以運行比設備 DRAM 容量大兩倍的模型,并在 CPU 和 GPU 上分别比傳統方法提速 4-5 倍和 20-25 倍。用研究人員的話說,這爲在内存有限的設備上有效推理 LLM 鋪平了道路。
作爲一個硬件公司,蘋果更注重于技術落地本身沒有什麽太大問題。但如果把其視作是一家科技公司,蘋果就多少顯得有些 " 另類 "。
03 科技公司裏的 " 實用主義者 "
幾乎在所有人的邏輯裏,大模型是一場先發制人的遊戲,推理能力是唯一的衡量标準。甚至在很多人看來,模型競賽相當殘酷,類似芯片或 SpaceX,因爲領先的模型能力又強又便宜,後面的玩家會很難存活。
但蘋果對這個遊戲的理解并非如此。一個更接近真相的解釋是:相比其他科技公司,蘋果并不追求大模型性能的絕對領先,而是更看重大模型落地的可能性。
這與蘋果長期以來的 " 實用主義 " 理念有很大關系。蘋果實用主義的精髓在于,其并不追求絕對的技術領先,而更擅長在技術向産品大規模轉化過程中,通過其獨特的産品能力,實現對同類産品的超越。
從過去看,智能手機是由 IBM 公司的工程師 Theodore Paraskevakos 發明的,但卻在蘋果手裏發揚光大;在初代 iPod 發布時,MP3 播放器已經是一個個非常成熟的品類,可最後蘋果還是赢了。在更擅長賺錢的庫克上任後,蘋果的實用主義得到更充分的踐行。
這也體現蘋果在 AI 領域的布局。相比谷歌的動辄上億美元的大手筆,蘋果雖然并購數量多,但整體金額都不大。它們更願意收購一些小型公司,借助其團隊和技術爲蘋果自身未來的産品增加新功能。比如,iPhone X 的 FaceID 就源自蘋果在芯片和計算機視覺領域的一系列并購行動。
沿着這個邏輯,也就不難理解蘋果爲何遲遲不公布其大模型産品。因爲到目前爲止,大模型遠大願景與尚不清晰的商業化前景之間仍然需要無數的産品去填。
盡管目前已經出現 ChatGPT、Character.AI 等超級應用,但上述應用的調用入口十分單一,功能也多集中在内容生産方面,仍然有很大提升空間。一個顯著的體現是,這些應用在用戶活躍度上起伏很大。比如在經曆去年年初的瘋狂後,ChatGPT 日活在去年下半年出現了明顯的回撤。
更重要的是,相比功能相對單一,大模型落地所要付出的成本與商業化回報之間不成正比。目前,AI 應用商業化手段還很單一,難以支撐其高昂的運行成本。
按照 Open AI 公布的 GPT-4 的 API 費用表,爲每輸入 1000 個字符 ( 約合 750 個單詞 ) ,價格爲 0.03 美元,每生成 1000 個字符,價格爲 0.06 美元。也就是說用戶每問一次,成本差不多就是 1 毛錢。考慮到蘋果全球僅 iPhone 用戶就超過十億,意味着大模型運行的成本将極其高昂。
退一步講,如果仍然是這個路子,無論哪家廠商最終 " 赢了 ",他們的産品或者服務都會極大概率以 "App" 的形式出現在蘋果的 App Store 裏,爲全球的蘋果用戶提供服務。
蘋果看似務實的做法并非沒有一絲隐患。目前,市場對于 AI 硬件的發展大緻有兩種觀點:
一種觀點是基于大模型的自然語言交互能力需要一個新硬件。無論是去年發布的 AI Pin,還是不久前在 CES 上亮相的 Rabbit R1,都屬于這一類産品。這類産品的特點是最大化利用了 AI 的文本理解、生成、翻譯能力、特别是圖片、音視頻等多模态能力,幾乎做到無縫銜接,融于無形。
另一種觀點是手機就是大模型最好的硬件載體,這也是蘋果所相信的方向。所以,我們能看到,蘋果将更多精力投入了新硬件産品的研發—— Vision Pro,而非 AI 硬件。
路線差異背後,意味着一旦踏錯,蘋果幾乎就完全要依賴産品能力進行追趕。但近年來,蘋果所引以爲傲後發至上的産品能力卻頻頻失效。
盡管經曆了漫長的 7 年研發,Vision Pro 最終上市,但距離庫克的最初設想相繼甚遠;而在造車這事上,蘋果也與最初的夢想漸行漸遠。根據此前的報道,蘋果的首款汽車放棄了 L5 全自動駕駛路線,方向盤、刹車和油門踏闆等傳統汽車該有的硬件都會保留,售價調低至 10 萬美元以下,量産時間再推遲到 2026 年。這意味着,蘋果基本已經退出新能源汽車的競争。
毫無疑問,大模型時代的硬件會重複計算機的老路:就是從算力集中于超算等大型設備上到算力一步步轉移至屬于個人終端。隻是 " 實用主義者 " 蘋果,最終會在這個故事裏扮演怎樣的角色,仍然要打一個大大的問号。