作者丨邱曉芬
編輯丨蘇建勳
當産業鏈還在爲大模型如何落地苦惱時,手機廠商早已搶占了先機。大模型的戰火燒到了手機廠商。
11 月 2 日,vivo 發布十億、百億、千億級别三個參數量級的五個大模型矩陣;上個月,小米也将搭載大模型能力後的語音助手小愛同學,整體嵌套到了澎湃 OS 上;在更早的 8 月份,華爲鴻蒙 OS 4 也宣布接入大模型。
手機廠商對于大模型的投入不低。vivo 副總裁周圍透露,vivo 的大模型經過了 6 年時間打磨,累計投入超過 200 億元、整個團隊人數超過 1000 人。小米這邊盡管沒有披露具體的投入金額,但在一次發布會上,雷軍也激情表示 " 小米全面擁抱大模型 ",并且把 AI 列爲了未來最重要的幾大技術方向之一。
OPPO 和榮耀,盡管還沒有大模型産品的落地,但在産品發布之前也時不時透露最新進展,生怕掉隊。
不同于 vivo 走純自研的路線,OPPO 更傾向于與行業力量協作。不久前,OPPO 宣布将和聯發科共建輕量化大模型端側部署方案,将基于 AndesGPT 大模型,重新打造全新的小布語音。
榮耀 CEO 趙明在不久前的高通骁龍峰會上也宣布,榮耀 Magic6 系列将搭載 AI 端側大模型,并首次向外界展示了榮耀手機端側 AI 大模型的部分功能。
那麽,當大模型落地到薄薄的手機上,對硬件層面又提出了什麽更高的要求?手機廠商們将如何借用大模型的能力提升用戶體驗?
手機要加大模型,不容易
據 36 氪觀察,vivo、榮耀、小米的大模型基本上都從 6B、7B(60 億、70 億)的數據量開始做起,逐漸往更大的大數據量拓展,其中,vivo 可能是手機廠商中追趕速度最快的,其稱已經在手機端跑通了 13B(130 億)大模型。
周圍表示,據内部測試,7B 的數據量足夠做好簡單的文檔摘要和拆解的功能,但要真正實現 " 智能湧現 ",7B 數據量的大模型任務拆解能力還有提升空間,13B 可能是更好的選擇。
vivo 大模型矩陣 36 氪拍攝
舉個例子,如果對手機提出「買一張深圳到北京的機票」的要求,這個簡單的指令背後,實則包含着多個任務拆解,比如:發出指令的用戶的經濟情況?如何想坐幾點的航班?偏好的航司等等。" 對于複雜的任務拆解,1B 不夠用,7B 勉強勝任,13B 剛剛好 "。
目前,手機廠商大模型在計算上,基本采用兩種路徑,榮耀、小米是采用端側計算的模式,vivo 則是端側和雲端兩條路徑并行。
兩種模式各有優缺點。
雲端缺點是太貴——有行業人士對 36 氪測算,一次大模型雲端計算的最低成本是一分二人民币,若 3 億用戶每天用十次,意味着手機廠商一年要憑空多出一百多億的支出。
而相比之下,端側計算成本更可控,并且由于數據不用上雲,安全隐私性更強,并且計算效率更高。不過,端側計算卻對手機硬件提出了更高的要求。一般而言,大模型肯定是越大越好,這代表着推理結果會越精确,但是,手機的内存、核心處理器的計算能力卻是有限的。
36 氪了解到,1B 的數據在手機上會占用 1 個 G 的内存,7B 則會占用 4G 内存,而當數據量達到 13B,内存占用達到 7G ——如今大部分高端手機的閃存是 12G 或 16G。這代表着,一個好用的大模型要在手機端邊落地,可能占掉一半以上的内存,或影響手機的流暢使用。
而尴尬的是,盡管 2023 年以來,手機廠商已經将本地存儲容量卷到了 1TB 以上、還嘗試内存融合 / 擴展技術,将本地内存轉化爲運存,但這對于現階段的大模型來說并沒有太大的幫助。
這是因爲,大模型的數據往往是以成片成片得存在,在進行推理時,手機并不知道要用到哪一片,沒辦法将數據切割再放到本地存儲中存放。
大模型對手機的挑戰遠遠不止内存。一位行業人士稱,大模型計算同樣對芯片計算能力提出了更高的要求。當前,行業内可供采用的芯片不多,隻有聯發科天玑 9300 和高通骁龍 8gen 3 芯片能支持大模型的端側落地。
不過,芯片廠商們也敏銳識别了手機廠商的訴求。比如,前段時間高通就在骁龍 8 gen 3 上提升了 AI 計算能力,不僅能支持運行 100 億參數的模型,還針對 70 億參數 LLM 每秒能夠生成 20 個 token,這意味着,各類虛拟助手、GPT 聊天機器人未來都能在手機等終端運行。
大模型對于手機内存和芯片的限定要求,也注定了,在短期内這可能隻會是高端手機的專屬體驗。
手機大模型,未來的助手
基本所有手機廠商,都不約而同将他們的大模型技術,落地到了語音助手這個産品上。在過去,每一家手機廠商都布局有自己的語音助手,比如 OPPO 的小布、華爲的小藝、vivo 的小 V。
隻是,這些語音助手相當雞肋,難以理解用戶的需求,能做的事情也很有限,難以成爲用戶重度工作 / 生活時的核心工具。
不過,在和大模型的底層功能打通後,意味着語音助手的理解能力慢慢從幼兒園向高中生演進。不難看出,所有手機廠商對于全新語音助手的設想都是,讓其成爲用戶的私人助理。
" 大模型的知識超出了個體的知識,它可以像一個人一樣理解你的語言,每天觀察你、學習你、了解你的習慣,給你最好的幫助,完成你的任務 ",OPPO 首席産品官劉作虎表示。
從各家的公布的信息來看,手機廠商的大模型基本上都瞄準了語言理解、文本創作、自然對話、角色扮演等等功能。對于用戶來說,他們讓手機上的大模型助手幫他們找到特定的圖片、寫特定的文案、幫忙梳理文章重點大綱等等。
不過,大模型語音助手要真正成爲一個「智能助手」,除了持續堆人堆錢堆算力堆數據之外,一個更大的阻礙在于,如何與上層的軟件應用建立信任,讓其上的數據和功能可以被手機廠商所調用。
還是以「讓手機助手幫忙買機票」爲例,手機至少要完成指令,至少需要調用到這幾個方面的權限——支付寶或微信的支付信息、用戶的日程信息、用戶過往的航班信息等等。一位行業人士表示,過往用戶在浏覽的過程中所産生的流量和數據歸應用方所有,應用方并不願意拱手讓出。
未來,大模型未來是否真正能在手機端落地,還取決于手機廠商如何在手機有限的空間内更大程度發揮出大模型的作用、以及如何将表層的大模型與手機背後那些應用做更深入的打通。
而在手機市場創新瓶頸,各家又都卯足勁沖決戰高端市場的現在,這些苦功夫是值得的,手機廠商們也都願意花錢一試。
【end】