大模型,是今年全球科技界最火熱,最耀眼的關鍵詞。在幾個月的狂飙突進中,全球主要科技公司紛紛加入了大模型領域。中國 AI 産業更是開啓了被戲稱爲 " 百模大戰 " 的盛況。
但喧嚣與熱鬧之後,新的問題也随之而來:大模型的力量究竟能否持續發展?在擁有了許多大模型之後,我們又該做些什麽?
簡單來說,面向機遇與挑戰并重的大模型時代,中國 AI 需要從拼參數、拼數量的 " 短期主義 " 中走出來,走向長期發展與生态凝聚。
有大模型并不難,難的是讓大模型走向遠方。
8 月 16 日,由深度學習技術及應用國家工程研究中心主辦的 WAVE SUMMIT 深度學習開發者大會 2023 在北京舉行。百度首席技術官、深度學習技術及應用國家工程研究中心主任王海峰表示,大語言模型具備了理解、生成、邏輯、記憶等人工智能的核心基礎能力,爲通用人工智能帶來曙光。
如果要總結這一屆 WAVE SUMMIT,那麽在我看來,最重要的價值是百度展示了大模型如何走向 " 長期主義 " 發展模式。通過文心加飛槳,爲産業夥伴與開發者構建可持續發展的 AI 基礎設施,爲産業智能化提供源源不絕的動力。
大模型不是終點
而是起點
随着 " 百模大戰 " 的興起,大模型以最高效率抵達了産業繁榮狀态。但随之到來的是很多疑慮,比如在有了大模型之後,我們究竟如何讓它發揮價值?比如,大模型的技術能力,還能不能進一步突破,如何突破?再比如大模型之間的競争,會不會變成低價、低質的競底遊戲?
這些疑慮背後的關鍵,是産業界目前傳遞出的信号,過分強調 " 要有大模型 "。反而很少提及大模型如何長期發展,如何擺脫零和博弈。
我們關注大模型,難道不是驚豔于它的表現,于是開始暢想它的未來嗎?難道我們真的滿足于 " 有很多大模型 " 就是終局嗎?
換言之,大模型應該是起點,而非終點。
目前來看,大模型的技術、産業與生态都還處在發展的萌芽期。各方應該攜手共建,描畫大模型的美好未來。大模型之路,至少需要完成三個目标:
1. 向産業價值,完成大模型向 C 端與 B 端的應用落地,推動 AI 原生應用走向時代前沿。
2. 向衆智生态,大模型應該是各行各業、萬千開發者的大模型,集衆智才能立高遠。
3. 向技術突破,大模型目前的表現僅是開端,我們需要有方法、有路徑來驅動大模型持續發生技術突破,直到走向 AGI 的遠景目标。
如何鋪這條大模型路?百度在 WAVE SUMMIT 深度學習開發者大會 2023,展示了他們一直以來都在做的三件事。
指南針:
AGI 曙光已現
如果說,大模型還能向前走,那麽它應該向哪裏走?百度爲大模型時代鋪路,做的第一件事,是向各界展示了關于大語言模型方向的 " 指南針 "。
AI 開發者們都知道,WAVE SUMMIT 深度學習開發者大會,曆來是呈現百度對深度學習技術未來洞察的舞台。
2019 年,王海峰在首屆 WAVE SUMMIT 中提出,深度學習具有很強的通用性,并具備标準化、自動化和模塊化的工業大生産特征,推動人工智能進入工業大生産階段。
四年來,AI 工業大生産的方向不斷得到了充分驗證,更引導了 AI 産業的發展與 AI 開放生态的繁榮。今天,AI 技術在各領域展現出了充沛的生産力釋放效應,證明 AI 工業大生産階段已經正式到來。
面對大模型時代新的方向性問題,王海峰也給出了清晰明确的洞察。本屆 WAVE SUMMIT,王海峰首次對外表示,人工智能具有多種典型能力,理解、生成、邏輯、記憶是其中的核心基礎能力,這四項能力越強,越接近通用人工智能,而大語言模型具備了這四項能力,爲通用人工智能(AGI)帶來曙光。
也就是說,大模型持續向前發展,實現技術突破是可預見、可期待、可實現的。以理解、生成、邏輯、記憶四項核心技術作爲向量,我們可以規劃出大模型長期發展的路标與路徑。
這樣的論斷,建立于百度紮實的技術探索之上。
以文心一言爲例,它首先從數萬億數據和數千億知識中融合學習得到預訓練大模型,在此基礎上采用有監督精調、人類反饋的強化學習和提示等技術,并具備知識增強、檢索增強和對話增強等技術優勢。進一步地,文心一言通過多種策略優化數據源及數據分布、基礎模型長文建模、多類型多階段有監督精調、多任務自适應有監督精調、多層次多粒度獎勵模型等技術創新,全面提升基礎通用能力。在檢索增強和知識增強的基礎上,通過知識點增強,提升對世界知識的掌握和運用;通過大規模邏輯數據構建、邏輯知識建模、多粒度語義知識組合以及符号神經網絡,提升邏輯能力;通過構建數據、内容、模型和系統安全的全面安全體系,保障大模型的安全性。可以說,其具備了理解、生成、邏輯、記憶等核心基礎能力。
王海峰的闡釋既解答了各界對大模型長期發展動力的期待,更直接點明了 AGI 這一長期目标的實現方式。将目前的大模型技術基礎,與人類科技的星辰大海聯接在了一起。
除此之外,王海峰還分享了百度在大模型效率、應用等方面的最新進展。
所有遠大航程都始于找到正确的航海圖。大語言模型具備了理解、生成、邏輯、記憶四項核心基礎能力,帶來 AGI 的曙光,正是這樣一張值得各界深度思考的航圖。
築路基:
文心加飛槳的步步向前
知道了要向哪裏走,接下來的問題是應該如何走?面對這個問題,百度爲大模型時代做的第二件事,就是通過文心加飛槳,爲大模型發展鋪設新的路基。
百度集團副總裁、深度學習技術及應用國家工程研究中心副主任吳甜表示,文心一言熟練掌握的創作體裁超過 200 種,涵蓋了幾乎所有寫作需求,内容豐富度是初期的 1.6 倍、思維鏈長度是初期的 2.1 倍,知識點覆蓋是初期的 8.3 倍。
這樣的進展效率背後,是百度在核心技術、開發平台、應用部署等領域協同發力的成果。而百度在大模型領域得到的先驅者經驗,也将通過文心加飛槳打造的 AI 基礎設施,面向開發者與千行百業進行落地。
在本屆 WAVE SUMMIT 當中,我們可以看到百度圍繞大模型的開發、優化、應用,取得了許多關鍵性、基礎性的進展,我們可以從中試舉幾項加以說明:
1. 擴展大模型能力邊界的插件生态
面對全新的大模型機遇,插件機制是開發者急切期待的。爲了填補這一需求,文心大模型在 3.5 版本中新增了插件機制,已上線了百度搜索、覽卷文檔、一鏡流影、說圖解畫、E 言易圖五種官方原生插件。王海峰表示,未來百度将與開發者共建插件生态,共享技術創新成果。
從 WAVE SUMMIT 的反饋來看,各界對這些插件的認可達到了很高指數。
比如說,覽卷文檔可以借助文檔智能模型及搜索系統,實現對文檔的格式、布局等信息充分理解及定位,從而幫助用戶實現文檔摘要、問答及創作的需求。
再比如,一鏡流影依托文心跨模态大模型,突破了不同模态之間語義對齊等技術難題。用戶僅需簡單輸入文字,即可在 1 分鍾内獲得高質量的 AIGC 視頻,爲大模型 + 視頻帶來了全新的效率升級與想象力突破。
E 言易圖則實現了将文字需求轉化爲可視化圖表的需求。僅需簡單的數據圖表需求,或輸入待生成圖表的數據内容,即可生成可交互圖表,協助用戶完成數據分析、洞察及圖表信息的交互演示,從而實現大模型與辦公、财務、數據統計等領域更爲緊密、有針對性的結合。
2. 深度學習平台與大模型的聯合優化
在大模型成爲各界關注重點之後,如何更好更快地訓練大模型,提升大模型推理效率,成爲了産業中至關重要的挑戰。爲此,經過緊密的技術升級,百度已經将文心與飛槳聯合優化這條路跑通、跑順,成爲了整個大模型産業可以參考的升級範本。
本屆 WAVE SUMMIT 上正式發布了飛槳開源框架 v2.5,其全面完成了架構升級,同時在大模型訓練、推理和多硬件适配方面帶來了新的功能。其中,文心與飛槳聯合優化最爲關鍵,通過協同優化,文心大模型 3.5 訓練速度是優化前的 3 倍,推理速度更是達到了 30 倍以上。
大模型效率的提升離不開飛槳的加持,在訓練方面,百度總結了一套打法:
從硬件資源層面看,飛槳與文心在硬件集群上進行協同優化,提升了有效訓練時間占比;通過芯片、存儲、網絡協同優化,提升了模型的訓練吞吐速度,從而全面實現了以更小資源消耗實現大模型訓練目标;與模型算法協同優化,提高收斂效率。在大模型訓練中,優化收斂效率和穩定性,可大幅度減少訓練時間,達到事半功倍的效果。
在推理方面,飛槳則是從模型壓縮、推理引擎、服務部署三個關鍵環節進行協同優化。作爲深度學習開發平台,飛槳可以支持 AI 模型從訓練到推理的全流程落地。舉例來看,飛槳模型推理服務就可以有效支持大模型推理效率提升。其在業内首創了支持動态插入的分布式推理引擎,從而可以更有效完成龐大數據規模的 AI 模型進行推理部署。在這些關鍵環節的協同推理能力提升下,飛槳不斷幫助文心大模型提升推理效率與推理性能,讓模型的學習效果與魯棒性更強,從而取得更強的應用效果。
到目前爲止,文心與飛槳的聯合優化路徑被持續驗證,進而打通了大模型低成本、高效率落地的大門。
3. 應用側的先導示範。
面對着大模型的能力與機遇,各界不僅關注大模型基礎技術,同時也希望在應用側直接獲得大模型支持,以及通過有效的 AI 原生應用來探索自身的應用落地方案。
在這一方面,WAVE SUMMIT 上展示了文心一言的能力,通過智能工作平台如流進入辦公場景,全面提升辦公效率。百度集團副總裁、百度集團首席信息官李瑩發布了如流的 " 超級助理 "。 在代碼智能化場景,百度 Comate 系列産品全新升級,重磅發布智能編程助手 ComateX 和 Comate Stack 工具套件,實現了代碼解釋、代碼生成、行間注釋生成、單元測試用例等能力。
文心加飛槳,通過不斷升級技術、完善工具、落地應用,讓大模型的路基沿着正确方向一路鋪設開去,從而讓更多開發者、更多行業夥伴能夠走上這條路,走近大模型的時代機遇。隻有在衆力衆行之下,中國 AI 才能滾滾向前。
開航道:
爲開發者,爲産業,爲生态
在定準方向,夯實技術之後,下一個問題是如何讓更多人加入進來,分享大模型紅利。爲此,百度爲大模型時代做的第三件事,是把大模型變成繁榮的生态航道。讓更多行業、更多開發者以高效率、低門檻的方式融入進來,駛向自己的目标。
生态與技術并重,始終是百度發展 AI 技術的立足根本。經過多年發展,産業級深度學習開源開放平台飛槳,已經凝聚了 800 萬開發者,服務于 22 萬家企事業單位,基于飛槳創建的 AI 模型達到 80 萬個。
而面向大模型的機遇,百度同樣也廣開生态之門,注重社區發展。WAVE SUMMIT 期間,王海峰發布了飛槳開發者社區 AI Studio 中文名 " 星河社區 ",寓意 " 文心加飛槳,翩然赴星河 "。
與此同時,正式推出了星河大模型社區。在社區,開發者可以獲得一體化的大模型開發支持。飛槳 + 文心貫通全開發流程,與開發者持續共創大模型項目和應用。目前,星河大模型社區已上線了超過 300 個大模型創意應用,還提供了豐富的功能方便開發者進行交流。百度還發布了文心大模型 " 星河 " 共創計劃,提供生态和産業資源,與廣大開發者共同推動人工智能應用創新。
而在作爲 AI 産業底座的硬件領域,文心大模型最新與英偉達、寒武紀、華爲等 12 家硬件夥伴開展了适配,覆蓋了雲和端側多種硬件類型。目前,已經有 25 家硬件夥伴參與到了星河社區硬件生态專區的共建當中。
從産業落地的角度來看,文心大模型的落地規模在國内保持領先,已經有 15 萬家企業申請了文心一言内測,其中超過 300 家生态夥伴在 400 多個具體場景取得了測試成效,覆蓋辦公提效、知識管理、智能客服、智能營銷等領域。同時,百度聯合國家電網、浦發銀行、泰康、吉利等企業聯合發布了 11 個行業大模型。
不難看出,百度開辟的大模型航道,已經實現了落地廣泛、生态繁榮、夥伴衆多。百度的大模型之路,正在這樣的航道上徐徐展開。
相比于以 " 有大模型 " 作爲全部目标,百度的大模型之路目光更遠,看向 AGI 的星辰大海。
相比于堆積參數和技術務虛,百度的大模型之路更加腳踏實地,它是在一個個插件,一次次優化中走通的,每一個腳印清晰可見。
相比于短期利益與劣币競争,百度的大模型之路堅持生态互利,它是行業的路,開發者的路,更多人的路。
中國 AI 的大模型之路,當如是也。