複旦大學計算機科學技術學院教授、上海市數據科學重點實驗室主任肖仰華
在 Scaling Law（縮放定律）的 " 指引 " 下，AI 大模型技術正朝着加大訓練數據、加大算力投入、堆積參數等方向前進，模型一代代 " 膨脹 "，因此，如何用更可靠的數據進行訓練模型，正逐步成爲 AI 大模型發展的根本性的、長期性的關鍵要素之一。
9 月 5 日 -7 日舉行的 2024 Inclusion · 外灘大會 " 從 DATA for AI 到 AI for DATA" 見解論壇上披露的 Epoch AI 數據顯示，自 2026 年起，人類産生的新數據量将比模型學習的新數據量要少，預估到 2028 年，AI 大語言模型将耗盡人類數據。
這意味着，無論是高質量的人類開放語料，還是互聯網開源流通的信息語料，未來基于這些數據技術的模型效果最終将出現 " 瓶頸 "，從而很難實現比人類更智能的通用人工智能（AGI）目标。
那麽，如何用更優質的數據發展中國 AI 技術？高質量數據如何推高 AI 技術上限？
對此，9 月 6 日下午，複旦大學計算機科學技術學院教授、上海市數據科學重點實驗室主任肖仰華與钛媒體 AGI 等少數媒體進行對話交流。
肖仰華教授認爲，AI 大模型落地的本質仍然是數據工程。但當前，大模型發展過程中，其對數據的消耗和使用極爲 " 粗放 "，對數據的使用效率極爲 " 低下 "，和人類相比遠遠不足，同時，千億大模型的數據可能存在極大 " 水分 "，現在已經處于 " 大模型數據耗光 " 這一狀态。因此，發展合成數據、私域數據、個人數據訓練，可以進一步提升大模型的技術能力。
當前，AI 大模型技術領域，爲了達到 AGI，模語料數據規模變得 " 越來越大 "。
以 Meta 公司發布的開源大模型 Llama 3 爲例，其使用了 15T Tokens，是古代世界最大圖書館——亞曆山大圖書館 70 萬冊藏書（以每冊 10 萬字計，累計 70G Tokens）規模的 200 多倍。
更早之前，OpenAI 披露，GPT-3.5 的文本數據多達 45TB，相當于 472 萬套中國四大名著（《三國演義》、《西遊記》、《水浒傳》、《紅樓夢》），而 GPT-4 在之前訓練數據集的基礎上又增加了多模态數據，規模達數十萬億級 Token。
盡管大模型所展現出的重要能力，得益于背後的海量數據、蘊含了豐富的知識和智能。然而，當前大模型仍面臨 " 幻覺 "、垂直行業信息缺乏等核心挑戰。其中，大模型生成不正确、無意義或不真實的文本的 " 幻覺 " 現象，受到廣泛關注，公開研究曾披露 OpenAI GPT-4 模型的錯誤率能達到 20% 以上，而造成這一現象的主要原因是大模型缺乏高質量數據支撐。
在一定程度上，數據決定了 AI 大模型 " 智能水平 " 的上限，但當前的千億大模型當中，80% 都是 " 水分 "，即大量的語料數據都是無意義、錯誤率極高的信息。
所以，提高數據的質量和多樣性等方式，對于未來大模型技術發展以及落地應用來說至關重要。
肖仰華現任複旦大學計算機科學技術學院教授、博導，上海市數據科學重點實驗室主任，複旦大學知識工場實驗室負責人，2009 年獲得複旦大學博士學位後留校任教，研究方向包括知識圖譜、大模型以及社會科學啓發下的人工智能等。
肖仰華在演講中表示，當前大模型技術實現過程中，數據消耗了極大人力資源與資本投入，所以大模型落地的本質仍然是數據工程，數據在整個大模型技術體系中處于一個核心的基礎地位。
因此，如果大模型真的要走向千行百業，必須要解決 " 幻覺 " 問題，背後則需要運用合成數據、私域數據、個人數據、小模型、知識圖譜等技術方法，或協同方案。
" 實際上，現在所謂的千億大模型可能存在極大‘水分’，大多數參數可能隻是在編碼瑣碎而雜多的事實，與大模型的智商關系不大。所以，我們有沒有可能在這 1000 億模型基礎之上将‘水分’擠掉，把無用的知識全部榨幹，隻留下 100 億、10 億最關鍵的數據參數，它将決定大模型理性能力的關鍵。被擠掉的‘水分’知識完全可以放在外部文檔系統裏，通過 RAG 系統能夠在應用時檢索到即可。" 肖仰華對钛媒體 AGI 表示。
他坦言，越來越多的人仍然是把精力花在找更多的數據而非質量，已經存在一些研究成果表明 5% 的優質指令數據有可能會比 100% 的一般指令取得更好的大模型微調效果，所以大衆不應該能再盲目追求數量，而是要去想一想數據質量如何提升。
對于數據消耗，肖仰華詳細分析了三個形成基于高質量數據的模型技術方案：合成數據、私域數據、個人數據。
首先是合成數據。互聯網數據雖然消耗殆盡，但人類可以在這個數據基礎之上合成更多的數據，可以在原始數據上不斷思考、反思、關聯、融合，産生更多的數據。合成數據是很重要的思路，不僅隻是爲了緩解數據用光的問題，而且合成數據大部分是人類思考過程的數據，實際上可能比現在已經獲取的數據更多。通過合成數據把大量隐性、沒有記錄、沒有表達、過程的偏重思維的數據表達出來，這種數據對激發大模型的智商，或者理性能力至關重要。現在大模型其實隻有知性，沒有理性，因此，合成數據就是提升理性能力非常重要的一個思路。使用模拟思考過程的合成數據訓練大模型，它才能知道應該怎麽去思考問題，而合成數據既是爲了緩解數據的 " 饑荒 "，也是爲了提升大模型理性能力。
第二是私域數據。人類更多高質量、高價值的數據是在私域（垂直行業）當中，如果使用私域數據訓練大模型，可能會讓大模型變成行業專家。因此，用好私域數據是很關鍵的因素，數據有待挖掘的潛力仍然十分之大。
最後是個人數據。個人數據用于訓練大模型才剛剛開始，包括蘋果在内的很多手機終端廠商，下一步一定是用個人數據和大模型結合。因此，如何把個性大數據和大模型結合好，變成個性化大模型，爲每個人提供服務，對此未來還有很長的路要走。
不過，肖仰華也認爲，當前數據要素市場尚不健全，使得私域數據的彙聚和交易流通也是困難重重，挑戰非常之多。同時，大模型對數據利用的 " 貪婪程度 "，也影響了數據的存儲、生産、加工、流通、消費各個環節的技術走向。
" 模型的評估、數據的篩選和模型的訓練三件事應該是‘三位一體’的，我們需要注重數據的用法。" 肖仰華稱。
在肖仰華看來，AI 大模型技術發展至今，仍然還處在一個非常早期的時代，從原理和源頭上還完全缺乏理論和方法，而且大模型參數量變大，并沒有讓它的智商和理性能力所有增長。
"Scaling Law 很快就會見到天花闆，或者說我們要重新去看待 Scaling Law。并且，我們要從源頭上去梳理這些問題，去激發大模型的核心認知能力，提升大模型的理性水平。" 肖仰華表示。
不過，部分學者對于合成數據的前景也有一些懷疑和争議。
9 月 6 日，OpenAI 創始成員、AI+ 教育公司 Eureka Labs 創始人安德烈 · 卡帕蒂（Andrej Karpathy）在播客節目 No Priors 節目中表示，Transformer 還遠沒到自己的極限，新的改進和創新主要集中在數據集方面。盡管使用合成數據對于創造下一代大模型有很大幫助，但合成數據往往多樣性和豐富度不足。
安德烈 · 卡帕蒂也承認，當前數十億級參數量的大模型存在很多無用信息，他認爲與互聯網數據本身有關，因爲其可能是由 0.001% 的認知數據和 99.999% 的相似或無用信息構成的。而當前的模型浪費了大量容量來記憶無關緊要的事情，原因是數據集沒有經過精細化的調整（curation）。而真正用于思考的認知核心（cognitive core）可以非常小，如果它需要查找信息，它會知道如何使用不同的工具。未來，未來當下一代模型發揮作用時，它們會出現不同的分工，比如程序員、産品經理等。
另一方面，肖仰華表示反對 " 機器取代人類 " 的這一觀點，他認爲技術的所有進步和發展還是要 " 以人爲本 "，沒有人的文明是沒有意義的。
" 現在大模型就很擅長，可以很容易做到一段文字一字不錯。事實上，文字偶爾出錯無傷大雅，重要的不是文字有否錯别字，而是文字背後是否是真知灼見。我們在太多無意義的細枝末節浪費太多精力，而對事關宏旨的本質卻又輕松放過。以大模型爲代表的 AGI 的到來，粉碎了人類無意義的事項，倒逼人類回歸價值本原。" 肖仰華稱。
展望未來下一代萬億級參數的 GPT 模型，肖仰華指出，未來也許大家并不需要過多的數據，隻需精煉即可。然而，在此之前，人類可能需要通過萬卡訓練和打造萬億模型，以此來探索智能的極限。但早期的那些千億、萬億的大模型，可能存在很大的 " 水分 "。所以，人類必須先擁有 " 水分 " 充足的大模型，然後才有可能擠出這些 " 水分 "，從而獲得一個小而精的模型。最後，基于這個小而精的基座模型進行微調與訓練，在小規模集群或單機上完成微調工作。
肖仰華強調，這波生成式大模型的泡沫早晚會破，天花闆一定會到來。首先，人類産生優質數據的過程是相對緩慢的，大家不可能每天都産生對于世界的重大新認識，優質數據的緩慢生産速度爲成爲大模型發展的天花闆。其次，合成數據的質量控制仍存在不少技術挑戰，且合成數據是基于原始真實數據推理而産生的，因此也會限制大模型獲得本質新穎的知識與能力，也就是大模型會遭遇所謂的演繹閉包困難。最後，即便訓練出來了參數規模是人腦的 10 倍、100 倍的超級大模型，人類當下的智識水平可能限制我們去認識這樣一個超級智能形态。這樣一個可能的超級存在也就與人類無關。試想一下，如果螞蟻文明舉全體螞蟻世界之力造出了人類水平的智能，那麽這個相對于螞蟻而言神一樣的智能體一定是忙于探索星辰大海，去接近或實現一個更高的存在，而無暇去關照自己的造物主。
"AI 好比一個照妖鏡，将人類社會一切沒有價值的事情進行摧毀，倒逼大家去做真正有價值和有意義的事情。因此，AI 的未來發展倒逼所有行業回歸價值本原，要讓人類做真正有價值的事。" 肖仰華表示。
（本文首發于钛媒體 App，作者｜林志佳，編輯｜胡潤峰）
