近日,知名爆料人古爾曼(Mark Gurman)說蘋果 iOS 18 或迎來公司曆史上最大的更新。
咱還蠻激動的,這 2024 年了,要說什麽最令人激動,那肯定是往手機裏加了 AI 功能。
剛過去的 CES 上各種 AI 硬件花活,像 R1 這種的,讓我單買一台不現實,但裝進 iPhone 喂到我嘴裏用,那必須支持。
來源:推特
再仔細看看,據古爾曼說,iOS 18 會在以下幾個方面加入 AI 功能 [ 1 ] :
Siri:用大語言模型(LLM)讓 Siri 變得更智能
Messages:根據上下文和意圖,自動補全問題和句子
Apple Music:根據用戶習慣偏好,自動生成播放列表
iWork:在 Keynote 和 Pages 中加入 AI 輔助功能
Xcode:增加 AI 代碼提示功能,提供更高效的應用開發體驗
等等,就這?LLM 接入手機,華爲、小米、榮耀、vivo、OPPO、三星去年都已經交卷了。
至于辦公輔助,WPS、騰訊文檔、微軟的 Copilot、谷歌的 Duet AI 都從公測開始正式收費了。
對咱中國消費者來說,這幾個功能就沒一個用得上的好吧!
更别說 iOS 18 預計今年 9 月上線,開發者測試版最早也要等到 6 月蘋果年度開發者大會(WWDC)才有望露面。
幾個月時間過去,市面上的競争對手不知道又要推出多少絢爛的新功能,蘋果 iOS 18 爆料的這點芝麻谷子瞬間不那麽香了。
不過這次爆料好在不隻是捕風捉影,蘋果資訊網站 9to5Mac 在 iOS 17.4 測試版本的代碼裏找到了證據,起碼蘋果真的在往手機裏塞 AI 了。
代碼裏出現了一個新的私有框架,叫做 SiriSummarization。這個框架做的事情正如其名,調用 OpenAI 的 ChatGPT API 幫 Siri 做内容總結 [ 2 ] 。
功能包括:" 請總結這段文字 "" 請總結 "" 請回答這個問題 ",以及收到短信後建議的操作方式(回複消息、呼叫、保存聯系人等)。
除了調用 OpenAI 的模型,SiriSummarization 框架還調用了谷歌的 Flan-T5,以及蘋果自研的 AjaxGPT 和 AjaxGPT On Device(大概率是一個參數量更小的端側模型)。
這麽看來,蘋果應該是在用别家模型當對照組,跟自家開發的模型進行對比測試,就說蘋果再想不開也不至于領着自家 20 億用戶去 OpenAI 門口送錢。
但這 20 億用戶苦等蘋果精雕細琢的時候,就不會爲其他手機心動嗎?
在 iOS 18 爆料前不久,三星也正式發布了首款 AI 手機—— Galaxy S24,在操作系統裏集成了 LLM,可在通話、筆記、相冊裏絲滑調用。
插個題外話,這手機全球版的 AI 服務由谷歌提供,國内版的 AI 服務由百度和美圖提供。
華爲 vivo 也都在自己的手機裏裝上了自家研發的大模型。
等來等去,蘋果成了那個唯一還沒正式發布 LLM 的手機廠商。
怪不得即使蘋果超越三星成了全球 " 智能手機出貨量全球第一 ",華爾街分析師仍然覺得蘋果的霸主地位會被颠覆,原因很簡單:" 蘋果并未在 AI 和 LLM 領域深入布局,随着 AI 的發展,蘋果可能會被微軟、谷歌和亞馬遜超越。" [ 3 ]
人家說得很嚴謹,不是蘋果沒有布局 AI 和 LLM,而是沒有深入布局。
在過去一年大模型百家争鳴的時候,蘋果就已經慢了一步。
2023 年 7 月份,萬衆矚目的蘋果自研模型 AjaxGPT 首次曝光,拉動其市值增長近 700 億美元 [ 4 ] 。
當時,蘋果内部成員認爲 AjaxGPT 的能力超過了 OpenAI 的 GPT-3.5。
然而此時 GPT-3.5 都是 2022 年的明日黃花了,距離 GPT-4 發布都已經過去 4 個月。
據知情人士透露,蘋果公司管理層出于對隐私和性能的考慮,傾向于在設備上運行 LLM [ 5 ] ,但是 AjaxGPT 作爲一個參數量爲 2000 億的 LLM,在定位上十分尴尬。
向上跟 GPT-4 比,參數量不夠大,性能上不去。
向下跟 Meta 的 Llama 比,不夠輕量級,想要實現端側部署難度很大。
蘋果不是沒意識到這個短闆,去年 12 月發了一篇論文試圖把端側 AI 門檻拉低 [ 6 ] 。
論文中提出了一種讓運行内存和閃存(可以理解爲儲存數據的硬盤)協同運行 LLM 的辦法。
具體解決方案是把模型參數都儲存在閃存裏,當需要時再加載到運行内存中。
通過這種方式能在設備上跑得動比運行内存容量大兩倍的模型,還能把 CPU 的推理速度提升 4-5 倍,GPU 的推理速度提升 20-25 倍。
乍一看蘋果把 LLM 端側部署的難題給解決了,但是這個論文有兩個前提:
僅适用于參數量爲 60-70 億的模型
整套框架是在 M1 Max 芯片上實現的,而移動端的 A 系列芯片性能顯然跟 M 系列還有不小的差距
自研模型不過關的同時,蘋果自有算力也遠不如其它巨頭。
算力是 AI 軍備的基礎,前有 Meta 的紮克伯格說到 2024 年底要囤夠 35 萬張英偉達的 H100,後有馬斯克發推說 5 億美元雖然看起來是一大筆錢,但實際上隻能買 1 萬張 H100,而特斯拉今年買卡的錢肯定會超過這個數。
來源:推特
跟競争對手們以萬爲單位的購入标準相比,蘋果在囤卡的熱潮中表現得異常平靜,英偉達 2023 年第三季度 H100 顯卡訂單前 12 位客戶中,當時還是全球市值第一的蘋果居然沒有出現。
來源:Omdia
據 The Information 的統計,蘋果一直是全球最大的雲服務租戶,長期跟谷歌和亞馬遜保持着合作,知情人士透露,爲了節省成本,蘋果管理層曆來鼓勵工程師使用谷歌的雲計算服務。
大概就是因爲蘋果和谷歌曾經達成内部協議:蘋果 Safari 浏覽器默認搜索引擎使用谷歌,而谷歌雲計算服務給蘋果打折。
不過蘋果也不是不着急,去年開始一直在招生成式 AI(GAI)、機器學習(ML)、自然語言處理(NLP)相關的人才,截至本月蘋果官網招聘的 " 機器學習和 AI" 分類下都能搜出 600 多條結果。
前不久蘋果還花了 5000 萬美元與出版商達成合作,合法獲得了使用紐約客、名利場、GQ 等雜志的内容來訓練 AI 的許可,以免重蹈 OpenAI 等公司的覆轍。
至于蘋果每年花在 AI 上的研發費用,據不同來源分析可達 10 至 50 億美元(所以說買卡的錢還是有的)。
The Information 的一份獨家報告還稱,蘋果有三個團隊在同時訓練不同的模型。
谷歌 " 出逃 "AI 總監約翰 · 吉阿南德拉(John Giannandrea)是整個團隊的領導者。
約翰于 2018 年加入蘋果,據說當時軟件部門專門負責 ML 的程序員都沒有,他知道自己身上的擔子重了 [ 7 ] 。
基礎模型(Foundational Models)團隊主要研究領域是 LLM,最早由 Java 元老 +VR 先驅阿瑟 · 範霍夫(Arthur Van Hoff)在 2019 年創立。
2023 年範霍夫退休後,團隊由上交大畢業的前谷歌員工龐若鳴接手,目前整個團隊約有 16 人,AjaxGPT 便出自這個團隊之手。
視覺智能(Visual Intelligence)團隊的主要研究方向是圖像、視頻、3D 場景生成,目前能查到的成果隻有 2023 年發布的 44 篇論文。
多模态學習(Multimodal Learning)團隊的負責人是喬納森 · 什倫斯(Jonathon Shlens),他從谷歌跳槽到蘋果隻待了 1 年零 8 個月,就又跳回了谷歌。
至于團隊有什麽研究成果尚不清楚。
雖然有消息說蘋果的 AI 團隊已經開發出了幾個先進的模型,正在公司内部測試。
但一位直接參與開發的蘋果員工透露,目前在測的隻有一個用上了 LLM 的 Apple Care 客服機器人。
去年底,人狠話不多的蘋果芯片主管約翰尼 · 史魯吉(Johny Srouji)罕見地接受了 CNBC 的采訪。
當被問到如何看待 " 現在大家覺得蘋果在 AI 上落後了 " 這個觀點時,他表現得絲毫不在意 [ 8 ] :" 實際上我們處于領先地位,作爲一個團隊,我們有芯片、有硬件、有軟件、有 ML,接下來隻要朝一個方向優化就可以了。"
那這個優化究竟做得怎樣,隻有等 4 個月後的 WWDC 揭曉了。