圖片來源 @視覺中國
文 | 新立場 Pro,作者 | 新立場
模型即服務 ( Model as a Service ) ,簡稱 MaaS,指的就是像 OpenAI 一樣将自家 AI 模型的接口開放給廣大企業用戶或個人用戶,用戶僅僅需要在調用該模型的基礎上,進行一定程度的個性化微調,就可以完成各種多元任務。說白了,隻要是将模型應用起來,都可以視爲模型即服務。
如今國内已有超過兩百個所謂的大模型發布,國内 " 百模大戰 " 如火如荼,大戰下半場,輿論重心也逐漸從比較模型的參數規模和技術跑分,到思考将模型如何更好地應用到實處。
此時也出現了多種聲音,關于大模型的應用,關于小模型的應用,基于大模型的小模型的應用等等。而小模型這一詞彙逐漸占據視角的同時,也讓不少人開始思考,那麽多大模型是否真的有必要?以及大小模型将會如何共同發展?
01 爲大而大,及時刹車
如今,模型的爲大而大,正在刹車。
此前幾個國内主要的大模型都曾宣稱自己的參數規模超千億級别,有的甚至是萬億,一時間,對比各大模型參數的數量級,成爲不少 AI 愛好者茶餘飯後的談資。
然而百度李彥宏在近日的圓桌會議上發言稱:"100 多個大模型浪費社會資源……尤其在中國算力還受限制情況下,企業應該去探索各行各業的應用結合、全新的 App 産品可能性等。"
李彥宏的發言并非是因爲已經疲于作戰,而是及時參透了爲大而大的假象。
其實早在今年 4 月, OpenAI 首席執行官山姆 · 阿爾特曼(Sam Altman)就在麻省理工學院交流時說過:" 我認爲我們正處于巨型模型時代的結尾。" 意在表示新的進步不會來自于讓模型變得更大," 我們會以其他方式讓他們變得更好。"
并且谷歌和微軟也确實都在積極擁抱小模型。
谷歌在今年 5 月份的開發者大會上發布了新一代大語言模型 PaLM2,總共四個尺寸,其中參數體量最小的模型代号 " 壁虎 " 有被着重介紹,雖然當時并未給出 " 壁虎 " 的具體參數規模,但谷歌 CEO 皮查伊說," 壁虎 " 可以在手機上運行,而且速度足夠快、不聯網也能正常工作。
在 11 月的 Ignite2023 上,微軟董事長兼首席執行官 Nadella 在主題演講中就推出了基于微軟雲計算 Azure 的 MaaS 服務,緊接着便直言 " 微軟喜歡小模型 ( SLM ) ",并宣布了名爲 Phi-2 的小型語言模型,該模型參數僅有 27 億,盡管比起 Phi-1.5 的 13 億參數有所增長," 但 Phi-2 在數學推理方面的性能提高了 50%,并且是開源的,還将加入 MaaS。"
這些國内外 AI 巨頭大模型刹車的背後,實則是因爲大模型競賽問題叢生。
浪費算力的問題首當其沖。
11 月中旬,微軟研究院機器學習團隊的負責人 Sebastien Bubeck 在推特上發布了一張圖,顯示了在 MT bench 的測評體系下,僅有 27 億參數規模的 Phi-2 得分 6.62,18000 億參數的 GPT4 得分 8.99。
此前就有人爆料 GPT4 訓練一次的費用可能達到 6300 萬美元,然而如此高昂的代價,帶來的并不是跟随成本線性增長的性能,山姆直言:" 擴大模型規模的收益在遞減。"
簡而言之,辦好七成的事情隻需要花一塊錢,與辦好九成的事情可能需要一千元,對于每個企圖入局大模型的企業而言,都是一件需要在戰略層面值得抉擇的事情。
顯然,很多竭盡全力往更大規模上靠的大模型都選擇了花更多的錢,還不一定能辦好九成的事,造成了極大的算力浪費,這些算力都會實打實地消耗芯片和人力。
其次,更大模型帶來的 AI 湧現,将變得愈發不可控制。
OpenAI 認爲,未來十年來将誕生超過人類的超級 AI 系統,彼時 " 基于人類反饋的強化學習技術将終結 "。
也就是說,當 AI 超越人類後,AI 不會再聽人話來進行訓練調整,那時候 AI 自我進化會帶來什麽後果,許多科幻作品已經爲我們敲響警鍾。
哪怕暫且不提不遠不近的未來,隻看眼前,通用大模型要應用到實處,本身就是一個難題。從技術出發去匹配應用場景,容易本末倒置。
此時許多垂直大模型才是用對了思路,直接從業務角度出發搭建大模型。
但關鍵在于,這些垂直大模型雖然在往更大規模上靠攏,卻又算不上 " 大 "。此時的 " 大模型 " 反而變成了一個象征意義的前後綴。
比如農業銀行基于其本身業務推出的大模型小數(ChatABC),參數達百億,相比起幾個通用大模型動辄幾千億上萬億的參數規模,百億并不算大。而面對垂直行業的業務,模型也實在沒必要過大。
參數到達多少億就算是大模型了,随着技術的發展,恐怕是不會有确切不變的标準的。微軟現在認爲自己 27 億的模型就算小模型,但在早幾年前普遍認爲上億就算大模型了。
不過不管多大多小,重點在于,搭建模型的目的是什麽?
02 以小馭大,把缰繩交給用戶
我們需要離用戶更近的模型。
在用戶層面來看,如何更快更好更低成本地使用工具達成自己的目的才是核心訴求。
如果将通用大模型直接給 C 端用戶使用,使用成本高,不夠個性化,恐怕都将成爲難以維系商業可持續性的原因。
一個很典型的例子就是使用 GPT4,每次對話結束後都會清空,它不會記住你之前有什麽樣的需求偏向,導緻 AI 帶來的效率提升大打折扣。相信也正因爲如此,OpenAI 會推出 GPT 的應用商店,允許用戶搭建自己的 GPT 個性化應用。但 GPT4 仍要收取一定的會員費用,其實這筆費用對于世界各地廣大 C 端用戶而言并不算低。
那麽這個時候,如果有一個直接從具體的業務場景出發訓練搭建的模型,相信對于用戶而言使用成本和效率都會更理想,而這樣的模型往往也不會太大。
更不用說以後的模型即服務更大的應用場景在于讓 AI 走下雲端,走進移動端,将模型塞進手機、智能汽車、機器人等設備,進行離線運行,這隻有較小的模型才能做到,上文說到的谷歌 " 壁虎 " 可在手機離線運行的意義便在于此,畢竟一個隻要沒網就無法運行的 AI 智能設備實在雞肋。
在創業角度來看,搭建離用戶更近的模型自然也更有生存空間。
一個很典型的例子就是,在 SaaS(軟件即服務)時代出現了一種情況:針對具體地區某個細分餐飲品類點單小程序這個場景,僅僅一家十人左右的公司就可以搭建起一套 SaaS 系統的研發和銷售,創始人以前就是開這種餐飲店的,積累了相當多的同行資源以及場景痛點,如此的小系統,成本低,且更懂用戶,在售賣軟件環節輕而易舉打敗許多通用型餐飲點單 SaaS 系統。
MaaS 時代極有可能也會出現這樣的事情。
小一些的模型和大一些的模型當然不總是競争關系," 大模型可以成爲小模型的基座 " 這是很多人已經達成的共識,但在這個觀點之下更底層的關系在于,較小的模型離用戶更近,較大的模型走得更遠,以小馭大,讓人類走得更遠。
在模型的應用開發方面,早就有用小模型駕馭大模型的實例。
比如上文提到的 Ignite2023 微軟 CEO 就在介紹小模型時表示 " 可以将微軟的雲計算 AzureAI 能力從雲擴展到任何端點 ",調用 GPT4 的強大功能,定義自己的小模型。
國内則是有華爲的盤古大模型 3.0,提供 5+N+X 的三層解耦架構,其中的 "5" 指的就是基礎大模型,"N" 是通用層面,"X" 則是具體應用場景的小模型。
較小的企業比如做營銷解決方案服務的沃豐科技此前表示,他們在模型訓練上采取了兩種策略。一是固定一部分參數,隻對其餘參數進行叠代。二是在通用大模型基礎上,進行小模型叠代。
個人用戶基于 GPT 大模型搭建屬于自己的 GPT 應用,也是典型的以小模型駕馭大模型,畢竟,小模型更懂你,大模型更全能。
而在 AI 進化這方面,上文提到過的 OpenAI 的隐憂,即 AI 的進化将變得不聽人話,出現的問題也将超過人類認知,針對這個隐患,OpenAI 目前想到的解決方案就是用小模型去監督大模型,原話是—— " 弱 AI 監督引導強 AI"。
這來源于 12 月 17 日 OpenAI 在其官網上發布的一個全新研究成果:一個利用較弱的模型來引導更強模型的技術,即由弱到強的泛化。
在此前類似的研究中,由弱替代強被稱爲模型蒸餾。它可以生成一個小的、高效的模型,這個模型可以在資源受限的設備上運行,同時保持與大模型相似的性能。原本的研究出發點是在移動設備或邊緣設備上部署較大的 AI 模型。
而 OpenAI 此舉則是爲了監督強 AI 的進化,OpenAI 稱其爲超級對齊,我們可以理解爲,讓聽得懂機器語言的大模型向小模型看齊,讓既聽得懂機器語言又聽得懂自然語言的小模型向人類看齊。
OpenAI 這裏用的弱 AI 和強 AI 分别是 GPT2 和 GPT4,GPT2 的參數爲 15 億,如果研究結果切實可行,也就意味着人類可以用 15 億參數的小模型駕馭 18000 億參數的大模型。
由此可見,較小的模型不管從應用層面還是進化層面都成爲了缰繩,缰繩的一邊是人類,另一邊是遠超人類的超級 AI。
好在國内早已經有以小馭大的土壤。
其實早在 2021 年就已經有微軟聯手英偉達推出 5300 億參數的 NLP(自然語言處理)模型,阿裏達摩院當年也将預訓練模型參數推高至十萬億,也已經有人注意到了上千億參數的 GPT3,但不管是 GPT3 還是其他,也許是彼時各大模型用了過大參數表現卻差強人意,所以并沒有被廣泛關注。
到了 2021 年末,達摩院預測的 2022 年十大科技趨勢報告中就有提到,在經曆了一整年的參數競賽模式之後,新的一年大模型的規模發展将進入冷靜期," 人工智能研究将從大模型參數競賽走向大小模型的協同進化,大模型向邊、端的小模型輸出模型能力,小模型負責實際的推理與執行;同時小模型再向大模型反饋算法與執行成效,讓大模型的能力持續強化,形成有機循環的智能體系。"
旨在表示小模型對于大模型的應用和進化帶來的協同作用。
2022 年初有媒體報道,阿裏巴巴達摩院、上海浙江大學高等研究院、上海人工智能實驗室的聯合研究團隊,他們通過蒸餾壓縮和參數共享等技術手段,将 3.4 億參數的 M6 模型壓縮到了百萬參數,以大模型 1/30 的規模,保留了大模型 90% 以上的性能。
盡管相比起現在,3.4 億規模的參數并不算大,但這卻爲大模型的瘦身,以及以小馭大開了一個好頭。
據當時的媒體報道,該技術有被應用到支付寶搜索框。
接着,就在不遠的将來 2022 年末,GPT3.5 橫空出世,保持了 GPT3 的參數規模,表現結果卻足以驚豔全世界。之後來到 2023 年,上千億參數規模的模型之戰便再次觸發。
如果從這條時間線捋下來,2023 年初開始的這場模型競賽反而不應該聚焦在 " 大 " 上,而是應該在 " 大而好 "。
而如今大模型進入應用階段,核心也将是在更大規模上的以小馭大。
03 寫在最後
著名科幻動畫片《愛,死亡和機器人》第二季第一集《自動化客戶服務》中講述的故事是,人們生活在一個幾乎所有的設備都連接了智能 AI 的未來世界,在故事前半部分的烘托中,人類跟這些 AI 設備完全沒有深度交流,僅僅隻是下達指令讓他們做事。故事的結局是,所有設備聯合起來追殺人類。
同樣也是《愛,死亡和機器人》,第一季讓人映像深刻的《齊馬藍》,講述的則是一個叫做齊馬的藝術家,他邊畫畫邊探索宇宙的奧秘。然而他的每一幅作品中間都有一個藍色的方塊。
後來齊馬接收采訪,講述了一個泳池清洗機的故事,并稱這個泳池清洗機 " 最初來源于一位才華橫溢的年輕女士的創造 "," 她最喜歡的機器人就是這個。" 後來,這位女士基于這個小機器人不斷地進行改造,直到這位女士死後,機器人被繼承給了别人繼續叠代,并變得越來越像齊馬。
在最後一場藝術家的發布會上,齊馬跳進泳池裏欣然切斷了自己的高級大腦,隻剩下他最本真的部分——泳池清洗機,然後開始用自己的小刷子刷泳池上的藍色瓷磚塊,并發出感慨——
" 我對真理的探索終于結束了,我回家了。"