大模型重塑一切的浪潮,正在加速湧向移動應用。
不久前,高通剛在 MWC 上露了一手純靠手機跑 Stable Diffusion,15 秒就能出圖的騷操作:
3 個月後的 CVPR 2023 上,參數加量到15 億,ControlNet 也已在手機端閃亮登場,出圖全程僅用了不到 12 秒:
更令人意想不到的速度是,高通技術公司産品管理高級副總裁兼 AI 負責人 Ziad Asghar 透露:
從技術角度來說,把這些 10 億 + 參數大模型搬進手機,隻需要不到一個月的時間。
并且這還隻是個開始。
在與量子位的交流中,Ziad 認爲:
大模型正在迅速重塑人機交互的方式。這會讓移動應用的使用場景和使用方式發生翻天覆地的變化。
" 大模型改變終端交互方式 "
每一個看過《鋼鐵俠》的人,都很難不羨慕鋼鐵俠無所不能的助手賈維斯。
盡管語音助手早已不是什麽新鮮事物,但其現如今的形态多少還是離科幻電影中的智能助手有點差距。
而大模型,在 Ziad 看來,正是一個破局者。
大模型有能力真正重塑我們與應用交互的方式。
這種改變的一種具體的表現,就是all in one。
也就是說,通過大模型加持下的數字助手這一個應用入口,人們就可以在手機這樣的終端上操控一切:
通過自然語言指令,數字助手能自動幫你管理所有手機上的 APP,完成辦理銀行業務、撰寫電子郵件、制定旅程并訂票等等各種操作。
更爲關鍵的是,這樣的數字助手還能做到 " 私人訂制 " ——
手機上的個性化數據,與能夠理解文字、語音、圖像、視頻等多模态輸入的大語言模型相結合,就能使數字助手更爲精準地把握使用者的偏好。
并且這樣的個性化體驗,可以在不犧牲隐私的情況下實現。
從技術的角度來說,背後關鍵,其實就是如今把 Stable Diffusion 和 ControlNet 搬進手機的混合 AI 架構及作爲支撐的量化、編譯和硬件加速優化等 AI 技術。
混合 AI,指的是終端和雲端協同工作,在适當場景和時間下分配 AI 計算的工作負載,以更爲高效地利用算力資源。
量化、編譯和硬件加速優化,則是實現混合 AI 的關鍵 AI 技術,受到高通等終端 AI 廠商的長期關注和押注。
量化,是将更大的模型在精度不變的情況下,從浮點數轉變成整數,節省計算時間;又或是在确保模型性能的同時,對其大小進行壓縮,使之更容易部署在終端。
編譯器是 AI 模型能夠以最高性能和最低功耗高效運行的關鍵。AI 編譯器将輸入的神經網絡轉化爲可以在目标硬件上運行的代碼,同時針對時延、性能和功耗進行優化。
硬件加速方面,以高通爲例,其 AI 引擎中的關鍵核心 Hexagon 處理器,采用專用供電系統,支持微切片推理、INT4 精度、Transformer 網絡加速等,能夠在提供更高性能的同時,降低能耗和内存占用。
數據顯示,Transformer 加速大幅提升了生成式 AI 中充分使用的多頭注意力機制的推理速度,在使用 MobileBERT 的特定用例中能帶來4.35 倍的 AI 性能提升。
以 Stable Diffusion 爲例,現在,高通的研究人員通過量化、編譯和硬件加速優化,已經能夠在搭載第二代骁龍 8 移動平台的手機上,以15 秒 20 步推理的速度運行這一模型,生成出 512 × 512 像素的圖片。
△圖源油管 @TK Bay
這樣一來,整個推理過程可以完全隻靠手機實現——開着飛行模式不聯網也能做到。
這類 AI 技術的部署并非易事,Ziad 表示在相關軟件、工具和硬件方面,高通準備了 2-3 年的時間。
但現在,當高通 AI 模型增效工具包、高通 AI 軟件棧和高通 AI 引擎等軟硬件工具齊備之後,正如前文所言,高通隻花了不到一個月的時間,就實現了 Stable Diffusion 在骁龍平台上的高速運行。
也就是說,當基礎技術準備就緒,包括大模型在内的生成式 AI 部署,就會更加容易,原本無法想象的 " 大模型部署到終端變成數字助手 ",現在看來也并非不可能。
具體而言,在硬件上混合 AI 和軟件 AI 技術的 " 雙重 " 架構下,部署在手機等終端中的大模型,可以在終端側根據用戶習慣不斷優化和更新用戶畫像,從而增強和打造定制化的生成式 AI 提示。這些提示會以終端側爲中心進行處理,隻在必要時向雲端分流任務。
Ziad 也進一步向我們解釋說:
雲不了解你,但終端設備了解你。如果模型可以在設備上進行微調,那它的功能将非常強大。
這也是突破大模型幻覺和記憶瓶頸的方式之一。高通可以做到通過一系列技術讓大模型在不聯網的情況下,借助終端設備數據長時間提供 " 專屬 " 服務,同時也保護了用戶隐私。
值得關注的是,Ziad 還透露,在 Stable Diffusion 和 ControlNet 之外,基于高通全棧式的軟件和硬件能力,研究人員正在将更多生成式 AI 模型遷移到手機之中,參數量也正在向百億級别進發。
很快,你就會在終端上看到像 LLaMA 7B/13B 這樣的模型。一切工具已經就緒,剩下的隻是時間問題。
而且,雖然目前能在終端側部署的隻是 " 特定 " 的大模型,但随着技術的不斷應用成熟,能部署的大模型數量、模态類型和部署形式,都會飛速進化。Ziad 表示:
随着更多更好的 AI 算法被開源出來,我們也能更快地沿用這套軟硬件技術将它們部署到終端側,這其中就包括文生視頻等各種多模态 AI。
這樣來看,未來用戶将自己想用的大模型遷移到手機端,成爲超級助手的核心,也并非不可能實現。
大模型正在重塑移動互聯網
實際上,手機上的交互變革,還隻是冰山一角。
早在生成式 AI、大模型技術爆發之前,在移動互聯網時代,AI 需求已經呈現出向邊緣設備轉移的趨勢。
正如 Ziad 的觀點 " 終端側 AI 是 AI 的未來 " 一樣,随着以大模型爲代表的生成式 AI 浪潮加速改變人機交互方式,更多終端側如筆記本電腦、AR/VR、汽車和物聯網終端等,也都會因爲這場變革迎來重塑,甚至反過來加速 AI 規模化落地。
在這個過程中,不僅硬件會誕生新的衡量标準,軟件上以大模型爲核心的超級 AI 應用,更是有可能出現。
首先是硬件上,由于終端側算力會成爲延展生成式 AI 落地應用不可或缺的一部分,對于移動端芯片本身來說,AI 處理能力也會日益凸顯,甚至成爲新的設計基準之一。
随着大模型變得更受歡迎、更多應用不斷接入其能力,更多潛在的用戶也會意識到大模型具備的優勢,從而導緻這類技術使用次數的迅猛上升。
但雲端算力終究有限。Ziad 認爲:
随着 AI 計算需求的增加,雲端算力必然無法承載如此龐大的計算量,從而導緻單次查詢成本急劇增加。
要解決這一問題,就應當讓更多算力需求 " 外溢 " 到終端,依靠終端算力來緩解這一問題。
爲了讓更多大模型在終端就能處理甚至運行,從而降低調用成本,必然需要在确保用戶體驗的同時,提升移動端芯片處理 AI 的能力。
長此以往,AI 處理能力會成爲衡量硬件能力的 benchmark,如同過去手機芯片比拼通用算力和 ISP 影像能力一樣,成爲整個移動端芯片的新 " 賽點 "。
誰能在設計移動端芯片時将之考慮進去,誰就更有可能取得這場大模型較量的話語權。
不止是硬件。軟件上,通過改變人機交互的方式,大模型将重塑包括娛樂、内容創作、生産力在内的所有移動應用。
在這種情況下,越來越多的大模型、或者說生成式 AI 會參與其中,重塑不同移動端 AI 應用,而這些應用随着不同移動端算力和應用場景的差異,又會有所不同:
在智能手機端,正如前文所述,這種重塑會率先出現在搜索和 " 智能助手 " 上。例如,隻需要一句 " 安排 5 人會議 ",大模型就能将以往需要用電子郵件反複确認的消息簡化成一條指令,自動發送到其他人的日曆上。
而在筆記本電腦和 PC上,最大的影響可能是工具生産效率的提升,如使用 Office 的方式不再需要是依靠打字輸入内容,而是聊聊天就能完成自己想要寫的報告、處理的 PPT。
至于在汽車端,率先受到影響的可能會是數字助理和自動駕駛軟件,像使用導航軟件時不再需要點擊目的地,而是直接告訴它 " 我想去 XX,中途安排一個吃飯的地點,别太貴 ",大模型就能讀懂人話,自動規劃汽車路線。
又或是XR更吸引人的應用重塑,在于 3D 内容創作和沉浸式體驗;物聯網的改變,則可能發生在運營效率和客戶支持應用上……
當然,這并不意味着 AI 小模型的 " 消失 "。大模型出現之前,圖像應用已經成爲移動端 AI 落地最顯著的領域,包括 AI 修圖、暗景視頻拍攝去噪算法等在内已有不少成熟的 AI 應用。
Ziad 認爲,生成式 AI 的出現并不會替代已有 AI 應用,甚至在其刺激下,CPU、GPU、AI 處理器的升級進化,會進一步提升去噪等傳統 AI 算法的能力。
同時,移動端應用之間并非 " 孤島 "。無論智能手機、電腦、汽車、物聯網還是 XR,一旦大模型促使某個真正的 " 殺手級 " 應用出現,勢必也會在各個移動端之間部署。
因此在這波大模型浪潮下,如何讓開發的應用快速适配到不同移動端,實現 " 一次開發多端互聯 ",也是不可或缺的技術趨勢。
總而言之,從硬件的芯片設計、軟件的應用程序,到應用的整體開發方式,大模型都在給移動端、甚至是整個移動互聯網帶來改變。
那麽,高通在這場大模型變革浪潮中會扮演什麽樣的角色?
Ziad 認爲,高通将會領導技術前沿,成爲引領這場變革的核心:
在終端側,無論是從硬件還是軟件而言,高通都處在領先地位。不僅僅是手機,在電腦、AR、VR、汽車、物聯網等領域都是如此。
而這份信心的來源,是高通長期的 AI 技術積累," 一切工具都已經就緒 "。
無論是硬件上的 Hexagon AI 處理器、讓生成式 AI 在雲端和終端之間 " 無縫 " 應用的混合 AI,還是軟件上所具備的量化、壓縮、神經網絡架構搜索(NAS)和編譯等技術,高通都已經具備了将大模型随時應用到終端側的技術儲備。
一旦成功将大模型部署到某個終端側,如智能手機,就能通過高通 AI 軟件棧将之迅速部署到其他所有端側設備上,進一步加速大模型的規模化落地。
像 10 億參數 Stable Diffusion 模型,在部署到手機上之後,也已經實現在搭載骁龍計算平台的筆記本上運行。
面對這波大模型浪潮下生成式 AI 帶來的機遇和挑戰,不少科技公司都在尋找應對之策,以探求如何跟進其中的技術。
至少在終端側,高通已經以技術玩家的身份,爲行業率先打了個樣。
One More Thing
在這波生成式 AI 熱潮下,大模型是否可能帶來新的如微信一樣的 " 殺手級 " 應用?高通如何看待這個觀點?
Ziad 回答稱,可能會,而且這類 " 殺手級 " 應用,更可能率先在中國出現:
如果按發展趨勢來看的話,中國确實可能會更快出現這類應用。
— 完 —
點這裏關注我,記得标星哦~
一鍵三連「分享」、「點贊」和「在看」
科技前沿進展日日相見 ~