從物理學到經濟學、商學當中,有一個著名的 " 飛輪效應 "(Flywheel Effect),是指剛開始推動飛輪旋轉時,需要花費非常大的力氣卻轉速很慢,而一旦速度達到某個臨界點後,飛輪就會非常輕松地高速運轉。這一原理能應用到方方面面,比如健身最難熬的是前幾天,一旦形成習慣就會越來越輕松。
一個企業,一個行業要顯現飛輪效應,需要讓各個業務模塊、技術模塊之間形成如齒輪咬合般的帶動關系。初期要承受巨大的探索壓力,而當飛輪踏上正軌,就會發展迅猛,領先優勢不斷加大。
AI 大模型,正顯現出如此前互聯網産業一樣的 " 飛輪效應 "。
10 月 17 日,以 " 生成未來 " 爲主題的百度世界 2023 在北京首鋼園舉辦。其間,百度 CEO 李彥宏表示," 大模型正成爲新型工業化的重要推動力 ",并且表示,文心大模型 4.0 實現了基礎模型的全面升級,在理解、生成、邏輯和記憶能力上都有着明顯提升,綜合水平 " 與 GPT-4 相比毫不遜色 "。
爲什麽在極短的時間内,業界關注重點就從 " 中國能否有大模型 ",變成了 " 文心大模型與 GPT-4" 并駕齊驅?文心大模型飛速進化背後的奧秘是什麽?
同樣在百度世界大會期間,百度首席技術官王海峰解讀了文心大模型 4.0 背後的關鍵技術和最新進展。
在這當中,我們能讀懂文心大模型如何全維度發力,造就了屬于 AI 時代的飛輪效應。
技術飛輪
文心大模型 4.0 全面進化
文心大模型已經顯現出飛輪效應的證據是多方面的。從體驗效果、用戶規模、落地場景三個最主要領域來考察,都可以發現文心大模型處在難以置信的進化速度當中。
王海峰介紹,文心大模型 4.0 的理解、生成、邏輯、記憶四大能力都有顯著提升,9 月已開始小流量上線,過去一個多月效果又提升了近 30%。8 月 31 日文心一言面向全社會開放至今,用戶規模已經達到 4500 萬、開發者 5.4 萬、場景 4300 個、應用 825 個、插件超過 500 個。
在各界非常關注的代碼生成領域,基于文心大模型研制的智能代碼助手 Comate,在百度内部應用效果良好,整體代碼采納率達到 40%,高頻用戶的代碼采納率達到 60%。目前階段,百度每天的新增代碼中有 20% 是由 Comate 所生成。
而這些數字,還在快速增長。
文心大模型能夠快速更新至 4.0 版本,并且體驗與成績不斷提升,背後的邏輯是什麽?
答案在于,百度通過多年在深度學習基礎技術以及模型訓練、推理、應用等方面的布局積累,已經構築了大模型層面的全棧技術優勢。換言之,百度已經率先度過了飛輪效應的投入期。聚集起來的技術動能不斷累加,讓文心大模型的 " 技術飛輪 " 高速運轉。
縱觀文心大模型的升級之路,就可以清楚地看到飛輪效應的運作模式。文心大模型自誕生起,就準确把握了知識增強和産業級兩大關鍵突破點,既集成了百度的 AI 技術優勢,又找準了未來的可持續發力方向。今年 5 月,作爲文心一言的基礎模型,文心大模型升級到 3.5 版本,就在基礎模型升級、精調技術創新、知識點增強、邏輯推理增強、插件機制等方面實現了全面突破。而到 4.0 版本階段,其基本技術架構與 3.0 和 3.5 版本一脈相承,并且在多個關鍵技術進一步突破。回顧文心大模型的升級曆程,可以發現在練算法效率方面,3 月份以來文心已累計提升 3.6 倍,訓練穩定性方面,周均訓練有效率已超過 98%。
帶着百度超過十年積累的 AI 技術與研發矩陣,文心大模型 4.0 展現出了巨大的升級幅度。我們可以将其關鍵節點,總結爲三個強化:
1. 模型強化。
模型訓練、推理能力,是大模型的基礎,也是大模型走向産業化的核心。在這方面,文心大模型 4.0 延續了此前的高速進化模式。通過在萬卡算力上運行飛槳平台,構築集群基礎設施和調度系統、飛槳框架的軟硬協同優化,支持了文心大模型的穩定高效訓練。
同時,百度還構建了多維數據體系,形成了數據挖掘、分析、合成、标注、評估閉環,可以充分釋放數據價值,大幅提升模型效果,并且基于有監督精調、偏好學習、強化學習等技術進行多階段對齊,保證模型更好與人類的判斷和選擇對齊,再通過可再生訓練技術完成增量式的參數調優,節省了訓練資源和時間,加快了模型叠代速度。
由此可見,文心大模型保持高效、大幅的叠代,原因是由多方面構成的。算力平台、數據平台、訓練工具,以及一系列新型模型訓練技術都參與其中。尤其與飛槳的聯合調優,不斷扮演着更加重要的角色。
2. 知識強化。
文心大模型實現了準确率好,效率也高,關鍵在于知識點增強技術的運用。而在文心大模型 4.0 階段,知識點增強技術開始應用于輸入和輸出的雙階段。在用戶輸入問題時,文心 4.0 會拆解回答問題所需的知識點,進而在搜索引擎、知識圖譜、數據庫中查找準确知識,再将知識組裝進 Prompt 送入大模型。另一方面,大模型還将對輸出結果進行反思,從生成結果總結知識點,進而通過以上方式進行确認驗證,對結果差錯進行修正。
如此一來,相當于大模型既要理解用戶提到的知識,又将反思自身輸出的知識。我們發現大模型偶爾會 " 胡說八道 ",甚至懷疑輸出結果,知識點增強的雙向運用,将極大提升生成内容準确率。
3. 機制強化。
近段時間以來,智能體機制得到了行業的廣泛關注,成爲大模型發展新的風口。在這一方面,百度進一步研發了智能體機制,包括理解、規劃、反思和進化,能夠做到可靠執行、自我進化,并将智能體的思考過程白盒化。從而讓 AI 可以具有與人類相近的理性思考能力,由此可以自主完成複雜任務,在環境中持續學習實現自主進化。
可以看到,文心大模型的核心技術升級環環相扣,彼此推動。在大模型訓練效率、AIGC 效果、前沿技術探索等方面構成了正向的驅動循環。比如說,文心與飛槳的聯合優化,目前可以看到價值越來越大,對于模型叠代效率提升、模型成本降低等方面有着巨大的作用,而這就是将百度潛心打造十年的深度學習開發平台能力,釋放到了大模型當中。
高投入,廣積累、堅持前沿探索,把核心技術組成環環相扣的齒輪。
這種技術戰略的堅定笃行,正在全球 AI 賽道中進化着文心大模型的飛輪效應。
應用飛輪
行業落地全面深化
從技術飛輪向外看,大模型必須帶動場景的飛輪旋轉,才能最終讓技術獲得價值。在這方面,可以看到文心大模型正在破解應用道路上的關鍵難題:深度。
從目前來看,文心大模型帶來的應用價值,已經能給出肯定的回答。在百度世界大會現場,王海峰分享了兩個大模型的應用案例。
其一是百度與中國國家圖書館展開戰略合作。利用國家圖書館擁有的全球最大古代方志資源,文心大模型通過學習古代方志與家譜數據,從而幫助全球華人獲取尋根線索,實現尋根願望。在這一場景中,我們可以看到使用了方志這種極少見、非傳統的數據資料,極度考驗大模型的理解與邏輯能力。而最終文心大模型經受了考驗,構築了海外華人夢回鄉梓的智能之橋。
其二是百度與國家跳水隊合作,基于文心一言等百度大模型技術,幫助國家跳水隊實現 AI 輔助訓練系統全面升級。大模型通過掌握豐富的跳水知識,理解和執行教練員和運動員的複雜指令,及時對運動員的動作進行實時打分、完成精準量化分析,提供有價值的智能化指導。
這兩個場景,全面展示了文心大模型 4.0 的場景應用深度。在技術不斷提升的情況下,大模型的行業落地門檻不斷降低,應用空間不斷加大。各行業都願意來和百度合作,探索大模型的可能性。
這些行業的意願與探索,形成了應用合力,正在千行百業中深化着文心大模型的飛輪效應。
人才飛輪
大模型人才培養全面強化
大模型時代的最終需求是什麽?從 2012 年以來開啓的 AI 熱潮其實早就告訴了我們答案:智能化,最終靠人才。巨大的人才缺口、難以獲得的教育資源、不連貫的産學研合作,始終是困擾 AI 技術發展的根本難題。
爲了解決這個問題,需要各界的攜手發力,也需要頭雁企業的抉擇與擔當。我們還記得,百度早在 2020 年就提出了 5 年爲全社會培養 500 萬 AI 人才的目标。如今來看,這一目标的提出和推進,對今天中國大模型事業的發展起到了底座與引擎的作用。在百度世界大會現場,王海峰公布了百度 AI 人才培養的最新數據,面向 5 年培養 500 萬 AI 人才的目标,截至目前百度已經培養了 420 萬 AI 人才。但顯然,大模型的到來将加大 AI 人才缺口,給 AI 人才培養帶來新的課題與挑戰。
在這方面,可以看到百度主動承擔起了大模型時代的人才培養承諾。爲了高強度培養了解大模型技術,适應大模型發展需求的人才,王海峰發布了百度人才培養的 " 星河計劃 "。他表示:" 我們将與産學研各界密切合作,深化産教融合,爲社會再培養 500 萬大模型人才,讓人工智能科技的‘創新之花’,結出更多‘産業之果’,服務國家戰略,服務社會發展,服務人民福祉。"
人才是持續發展的根本,是創新可能性的來源。持續的人才培養投入,不斷完善和升級的人才培養模式,都強化了這種原動力。
來自 " 星河計劃 " 中的 500 萬大模型人才,将在更廣闊的未來,強化文心大模型的飛輪效應。
一個飛輪,萬個飛輪
從一個算力節點,一項訓練方案,一項算法機制的創新,到千萬家企業的參與,千萬個行業的參與,千萬名開發者的參與。文心大模型的飛輪結構正在變得愈發緊密,聯接範圍變得更加廣闊。
一項大模型核心技術的升級,或許就将通過某個 Prompt 改變一個人的生活,通過某個 AI 原生應用影響一家企業的發展,通過某個落地場景升級一個行業的生産力。當技術、産業、人才的飛輪全速轉動,我們就将進入真正的大模型時代。
文心大模型 4.0 的飛輪效應,其實是一個縮影。其明确從啓動期進入飛速提升期,意味着中國大模型産業的整體進化速度更快、核心競争力更強,從全球 AI 機遇的參與者逐漸變成引領者。
中國大模型的技術正不斷加快,核心創新正不斷增強,從文心大模型 4.0 的理解、生成、邏輯、記憶能力全面提升中就可以看到。
中國大模型的産業門檻不斷下降,各行業的 AI 原生應用可能性極大增強。在國家圖書館、中國跳水隊的智能化嘗試中就可以看到。
中國大模型的人才培養路徑更加清晰,人才供給更加完善,創新動力源源不絕,在 500 萬大模型人才培養計劃中就可以看到。
目前的實際情況是,中國大模型産業正在踏上正軌。領軍企業有能力也有雄心,在大模型時代完成更大的探索和突破。文心大模型 4.0 可以與 GPT-4 并駕齊驅,答案正在于此。
文心大模型的飛輪,帶動百度的 AI 飛輪;百度的一個飛輪,又會通過各種平台、應用、工具與合作通道将影響力擴散,帶動千行百業的萬個飛輪。
文心 4.0 的飛輪轉動,中國智能化的飛輪轟鳴。
大模型的列車,正疾馳在智能中國的鐵軌上。去下一站,去更遠的一站,去星辰大海之間。