

從 20 世紀 50 年代起,AI 技術經曆了 70 多年的發展。其間多種技術曾占據不同時代的高位,而當時間來到 21 世紀 20 年代,抵達我們今天正在經曆的新一輪 AI 崛起,預訓練大模型毫無疑問就是這個時代的主角。
那麽,究竟是誰點燃了這次 AI 爆發的星星之火,推開了大模型的大門?相信你把這個問題抛給不那麽了解 AI 的朋友,他也會脫口而出:是 OpenAI 啊。但就像大模型會出現幻覺一樣,最近外網全面熱議的一件事告訴我們,這個答案也可能摻雜了一些幻覺成分。
Scaling Law 規模化法則,也被稱爲大模型的尺度定律。這一定律揭示了大語言模型的模型性能與其規模、訓練數據集大小,以及訓練資源之間存在着一種可預測的關系。也就是說投入資源越多,模型規模越大,最終的模型效果也就可能越好。從 AI 模型走向 AI 大模型,以及采取預訓練機制的必要性都是由此而産生。因此 Scaling Law 也被業界廣泛認爲是模型預訓練的第一性原理。

但就這項核心理論的起源,最近卻有一項讨論火爆外網。根據 AI 大佬爆料,以及《南華早報》等權威媒體的報道,中國科技巨頭百度比 OpenAI 更早發現了這一原理。這也意味着中國 AI 在大模型時代的前瞻性探索上可能更爲超前。
而 "AI 突破總來自百度 " 這一現象的背後,更展示了體系化 AI 創新的核心價值。如何在全球 AI 競賽的大背景下,全面釋放出百度的體系化 AI 創新價值,将是未來中國 AI 發展的核心課題。

事情的起源是這樣的。11 月 12 日,在 Lex Fridman 的播客節目中,Anthropic 聯合創始人 &CEO Dario Amodei 探讨了 Claude、AI 模型的擴展規律、AGI、AI 未來等多個話題。其中,作爲 AI 領軍人物的 Dario Amodei 也談到了 Scaling Law 這個關鍵規律的發現。他提到了他最早發現這個規律,始于此前在百度工作時的相關研究。根據資料顯示,Dario Amodei 于 2014 年 11 月到 2015 年 10 月期間在百度工作,當時他在百度矽谷人工智能實驗室(SVAIL)工作,緻力于将深度學習模型擴展到大規模高性能計算系統。
Dario Amodei 提到,2014 年與吳恩達在百度研究 AI 的時候,他就已經發現了模型發展的規律 Scaling Law," 随着你給它們提供更多數據,随着你讓模型變大,随着你訓練它們的時間越來越長,模型的表現開始越來越好。當時我并沒有精确地衡量,但我和同事們都非常非正式的感覺到,給這些模型的數據越多、計算越多、訓練越多,它們的表現就越好 "。

這個說法很快也得到了其他途徑的權威證明。11 月 27 日,Meta 研究員、康奈爾大學博士候選人 Jack Morris 在 X 上表示," 大多數人不知道,關于 Scaling Law 的原始研究來自 2017 年的百度,而不是 2020 年的 OpenAI"。
這個說法的來源是,在百度于 2017 年發表的論文《DEEP LEARNING SCALING IS PREDICTABLE, EMPIRICALLY》論文當中,已經對 Scaling Law 做出了詳細研究,并探讨了機器翻譯、語言建模等領域的 Scaling 現象。業内人士認爲,這篇論文的重要性被嚴重忽視了。
而透過這次全球 AI 界的正本清源,我們真正能夠看到的是百度在 AI 領域的前瞻性與系統化創新能力。很多 AI 的答案總是由百度來找到,已經成爲業界的全新共識。

十年之前,互聯網技術正在持續發展,移動時代正處在高位。當時幾乎沒有哪家科技公司願意從眼前的利益中抽身,去看看更遙遠的未來。
但如果每家科技企業都固守短期利益,那麽當科技拐點到來,下一輪技術突破開啓,整個社會的科技競争力不足就會暴露出來。我們隻能重複一次又一次科技模仿者的角色。
好在百度決定打破這個循環,用預判能力提前點燃 AI 的星星之火。這種預判性,已經爲百度,乃至爲整個中國 AI 領域帶來了極大效益。比如盡管外部剛剛爆料出百度更早發現 Scaling Law 的信息。但百度早已經基于對 Scaling Law 的研究和理解,很早就投入到預訓練大模型的工作當中。于是可以在全球第一梯隊發布大模型技術,率先打造投入應用的 AIGC 産品。

早在 2013 年 1 月的百度年會上,李彥宏宣布成立了深度學習研究院,并親自任院長。李彥宏認爲," 這應該是全球企業界第一家用深度學習來命名的研究院 "。這意味着,在全球大多數科技企業對 AI 的認知停留在科幻電影的階段,百度已經率先将 AI 技術作爲學術研究與業務落地的發展方向,繼而開始體系化、系統化進行 AI 創新。
多年以來,百度在硬件、基礎軟件、模型算法、業務落地等維度進行了 AI 探索。後來的事實也證明,對單項 AI 技術的投入隻能是模仿,隻有從源頭上進行體系化研發投入,才能提供源源不斷的 AI 創新成果。由李彥宏的前瞻性出發,啓動搭建的百度 AI 系統,讓百度十年來成爲 AI 人才、AI 技術與 AI 基礎設施的策源地。

從人才角度看,全球 AI 人才看到了百度 AI 的未來,争相加入到這個體系中來。比如說 2014 年,吳恩達加入百度并在研究院首席科學家,擔任百度公司首席科學家,負責百度研究院的領導工作。2014 年 5 月 19 日,百度宣布任命吳恩達博士爲百度首席科學家,全面負責百度研究院。同樣在 2014 年,Dario Amodei 斯坦福博士後畢業後加入百度矽谷 AI 實驗室。之後,Dario amodei 又招募了 Jim fan 來百度實習。這些人後來都成爲 AI 爆發的全球領軍人物,将百度的 AI 積澱帶向世界。
從業務發展的角度看,百度在自然語言處理、機器視覺、知識圖譜等領域打下了堅實的技術底座,并率先将 AI 技術帶到搜索、信息流、地圖、自動駕駛等核心業務,全面叠代了科技行業與 AI 技術的關系,爲未來千行百業的智能化指定了航标。

從基礎設施的角度看,百度打造的飛槳 + 文心大模型體系已經成爲 AI 開發者與産業智能化共同依托的技術底座。目前,飛槳文心開發者數量已達 1808 萬,服務了 43 萬家企業,創建了 101 萬個模型。百度已經成爲 AI 模型與 AI 開發者的搖籃。
不至 Scaling Law,百度在 AI 領域點燃了無數星星之火。它們燃燒盛放,成爲中國 AI 在全球賽場上的動力引擎。

時間來到今天,預訓練大模型驅動全球新一輪科技革命。在這個階段當中,百度憑借跨越十年的 AI 洞見,以及由此打造的體系化 AI 創新,全面提升了中國 AI 的發展加速度。
比如說,百度在 2019 年發布了第一代文心大模型,幾乎與 OpenAI 處于同一時期;2023 年,百度是全球第一家推出生成式 AI 産品的科技大廠,讓中國用戶有了與無時間差的 AI 革命體驗。
今天,百度文心大模型日調用量已經超過 15 億。對比今年 5 月 2 億的日調用量,半年時間達到了原來的 7.5 倍,對比一年前 5000 萬的日調用量,達到了 30 倍。文心已經真正成爲中國預訓練大模型的底牌與王炸。

而把百度的前瞻能力與體系化 AI 創新,放在更大的全球科技競賽背景中看,會發現其有着極其深遠的意義。
日前,外媒 Axios 援引知情人士消息,美國候選總統特朗普計劃任命一位人工智能部長(AI czar),以協調聯邦政策和政府對新興技術的使用。"AI 部長 " 将在集中公共和私人資源方面發揮作用,确保美國在全球範圍内占有人工智能發展的領先地位。這預示着特朗普下一個任期内 AI 技術發展将加速迎來變局。AI 對于社會經濟、國家戰略的意義正被推升到史無前例的高度。
在全球 AI 競賽的必然趨勢下,百度的深入積累的 AI 技術路徑、研究方法與工程化實踐、應用探索,都将成爲未來中國 AI 加速度的來源。
如何透過 Scaling Law 的全球熱議,看清百度 AI 基座的不可替代性,并将這種價值應用在未來必将發生的 AI 競賽中,将是中國 AI 接下來一個深刻且富有想象力的命題。
