2023 年的 AI 大模型,已經從 Q1 火到了 Q2。
國内,從大廠到新創,紛紛下場試水,幾個月過去,已經有了不少大模型産品 " 交卷 " 受評,頗有 " 亂花漸欲迷人眼 " 的架勢。
看客隻識 AI 大模型百花齊放,但除了一場熱鬧以外,卻也開始有人問出了這個問題:
"AI 大模型這麽厲害,但它有啥用呢?"
誠然,市場上不少公布的大模型,還并未開發到完全程度——甚至距離 " 可用 "、" 好用 " 還差着一些距離。
在一些 AI 大模型産品,仍舊在 " 胡說八道 "、場景落地難、語義理解能力弱等問題中徘徊時,OpenAI 首先看到了落地的痛點,和微軟合作推出 Copilot,主打在辦公領域提升工作效率,打響了大模型向生産力進軍的發令槍。
在人們的想象中,AI 應該可以幫助處理機械、重複的日常工作,提供獨特的分析視點、創作靈感,在特定的領域——比如教育、醫療、法律——給出獨特的建議和幫助,讓工作和生活更輕松、便捷,讓每個人都能夠享受更貼心細緻的服務。
而什麽樣的 AI 大模型,才能真正地幫助使用者 " 幹活 "?讓日常辦公、生産的效率得到更大提升?什麽樣的大模型,才真正算得上生産力工具?要滿足生産力工具的要求,大模型需要有哪些秘密武器?
對于業界來說,這些問題如果得不到解答,那麽或早或晚,都會遇上市場的瓶頸;而越早能夠爲市場提供效率提升的大模型産品,也就能夠越早地占領先機。
一、理解 & 記憶:大模型生産力的分水嶺
記憶和理解能力,對于當下如同雨後春筍的大模型産品來說,說得上是最硬核的實力比拼。
模型的理解能力,根植于對自然語言的處理能力,能夠清晰地辨别語義,尤其是一些根植于本地語言語境中的俗語、幽默,對于理解用戶想要什麽,進而完成文本生成和創作,至關重要。
而模型的記憶能力——也就是多輪對話能力——越強,使用者就能更詳細地對需求進行描述,進而利用 AI 完成更加複雜的工作任務;
大模型比拼中最 " 硬 " 的兩個科目,也是大模型提供生産力的關鍵保證。不僅如此,不如說,要大模型能夠真正幫人 " 幹活 ",記憶和理解能力,都要滿足更高的要求。
但無論是 " 理解 " 還是 " 記憶 ",都是大模型在當下的能力提升的攻關難點。一方面是市場的巨大痛點,一方面是技術上難攻不落的 " 高牆 ",這對矛盾不解決,AI 的生産力就始終面臨着一個艱難的瓶頸。
首先,要解決 AI 語義理解能力差的問題,昆侖萬維和奇點智源的 AI 科學家們想到了一種另辟蹊徑的方法——蒙特卡洛樹搜索算法。
蒙特卡洛樹搜索算法,簡單來說一種基于随機模拟的強化學習算法。對 AI 不甚了解的人可能并不知道它的名字,但它卻是 AlphaGo 能打敗李世石、柯潔等一衆圍棋高手的秘密武器。而蒙特卡洛樹搜索的核心,就是通過一個樹狀結構,在每個節點進行随機搜索,并找到最優決策的方式。
在昆侖萬維和奇點智源聯合發布的 AI 大語言模型—— " 天工 " 中,蒙特卡洛樹搜索可以讓 AI" 三思而後行 " —— AI 會基于過去用戶的對話記錄以及當前用戶的輸入生成候選大量回複,并結合 NLP 技術,選取最佳的回複方案反饋給用戶。
通過把蒙特卡洛樹搜索算法,和自然語言處理相結合,讓 Decoder 的安全性和準确性獲得了極大的增強,也讓天工在相對複雜的任務和場景中,能夠快速且準确地響應指令,輸出高質量回答。
爲了測試天工的語義理解能力,雷峰網向天工提問:" 什麽是蒙特卡洛樹搜索算法?" 天工的回答還比較清楚,令人滿意:
把蒙特卡洛樹搜索應用到 AI 對話機器人中,另一個優勢,是 AI 能夠理解如何在對話中轉換話題,并提出問題,引導用戶完善自己的 Prompt,以得到更好的回複結果。
比如,雷峰網故意問出了一個十分寬泛、難以回答的問題。天工則并沒有落入這個 " 陷阱 ",通過主動提問,縮小問題的範圍:
而爲了測試天工的中文語義理解能力,雷峰網向天工詢問了一句古詩的情感色彩,不得不說,天工把握得相當不錯:
在不錯的語義理解能力之上,天工的 " 文采 ",也出人意料。它給出的結果稍作修飾,就能變成一篇不錯的短文:
在文本的翻譯中,也能看出天工對中英雙語的娴熟運用,在用英文描繪詩詞時,甚至也能品到中文的 " 原汁原味 ":
而提到記憶能力,天工更是出人意表,能勝任超過 20 輪以上的對話,支持萬字以上的超長文本。單就這一點,足以讓不少同類産品望塵莫及。
比如下面的對話,天工就在連續對話上小試牛刀,還能夠理解 " 沙特球王 " 的足球梗,
在超強連續對話能力的背後,是天工的 " 财大氣粗 "。背靠中國最大的 GPU 集群之一,天工有超級豐厚的資源,保證運行和相應的速度,同時也讓用戶資料安全與使用體驗更加穩定、可靠。
理解能力和記憶能力,足稱得上是大模型産品在生産力上的分水嶺——在深度理解用戶需求的基礎上,能夠實時地完成連續對話,能越過這道坎,AI 才能開始爲用戶提供生産力的保證。
二、場景優化 & 模型魯棒性:好用 = 可用 + 可靠
嘗試過用 AI 寫稿的記者,尤其是某些垂直領域的記者,也大多心中都有過隐隐的擔憂——如果 AI 在某些關鍵信息點 " 一本正經地胡說八道 ",而自己沒有發現,最後就會造成嚴重的事故。
誠然,大模型的 " 幻覺 " 問題,可以通過知識圖譜,以及上文提到的蒙特卡洛樹搜索算法,進行一定程度上的抑制;而到了專業領域,場景優化做不好、訓練數據質量低,AI 再巧,面對的也是無米之炊。
用 AI 用得不放心,還不如自己親自上陣——不少人都是因此,對 AI 敬而遠之。而沒有人用,就無法獲得足量數據來繼續訓練、修正模型,進而形成了一種惡性循環。
盡管幻覺問題的解決并非一朝一夕,但當下的 AI 大模型要做到 " 好用 ",首先得 " 可用 " 和 " 可靠 "。在工作、教育等垂直場景落地,大模型得有一些 " 絕活 "。
首先是數據需要 " 保質保量 ",一方面數據要足量,支撐模型訓練的要求;另一方面,數據的質量也必須夠高,否則訓練出來的模型,反而容易被不良數據 " 帶跑偏 ",甚至讓訓練起到反效果。
其次,是模型的魯棒性——即,模型在發生異常情況,或面對不良數據時,自身的 " 抵抗力 "。魯棒性越強的模型,自身的穩定性和有效性就越不容易受到内外的不良影響,也就自然更加 " 可靠 ",進而能在更廣泛的場景中,爲使用者提供生産力提升。
而爲了能夠真正幫上用戶 " 幹活 ",天工在這兩點上也下足了功夫。
首先,昆侖萬維和奇點智源,從數十萬億的數據中,通過層層清洗和篩選,得到了三萬億的高質量單詞數據,供給天工完成訓練。
其次,昆侖萬維在 2020 年開始,就在 AI 領域開始布局,以 " 天工巧繪 "、" 天工樂府 "、" 天工妙筆 "、" 天工智碼 " 四個開源 AIGC 模型爲旗幟,在自家的開源社區彙集了百位開源社區 AI 科學家,積累了深厚的開源社區力量。
同時,天工在大規模與訓練的基礎上,針對不同的情況,進行了場景化的微調,讓天工能夠應對更多的場景,并且提供高效、個性化的幫助。
無論從事法律工作,還是醫健、财務等,天工都能在專業角度提供幫助:
不僅如此,面對教育場景,天工也能輕松應對,無論是數學、物理,還是曆史、政治,天工的輔導也堪稱專業,幫助家長省區了不少時間:
除此之外,AI 大模型産品常常落後于時代,數據庫無法和當下的最新信息接軌,也是常常被外界诟病的原因之一:不能提供最新的知識,AI 又該怎麽爲使用者解決日新月異出現的問題呢?
由此,AI 對話的實時性,也自然而然地成爲了評判大模型能否提供生産力的重要标準。
在這個維度,天工依靠大模型強大的智能湧現能力,與實時知識庫打通後,達到了能夠實時叠代知識的效果,讓用戶能夠實時通過 AI 獲得最新的信息,不再 " 落後于時代 ":
三、千億模型:隻有 " 一個 " 或許不不夠
談到大模型的能力,繞不開的一個概念,就是 " 湧現 "。
簡單來說," 湧現 ",指的是預訓練 AI 在訓練參數達到一定量級時, 表現将突然呈現指數級的上升,甚至獲得沒有被專門訓練過的能力。
在業界的普遍認識中,500-600 億規模的訓練參數,是預訓練大模型産生湧現現象的門檻。而參數規模越大,一般認爲,模型的能力也就越強。
于是,千億參數,目前已經成了大模型的 " 标配 ",時下不少大模型産品,都把自己叫做 " 千億模型 ",以參數量見模型實力。
但在當下,卻也有人問出了一個問題:
要讓大模型提供生産力,千億模型,一個就夠了?
對于昆侖萬維和奇點智源來說,他們理想中 AI 大模型的底層架構,是由 " 千億預訓練基座模型 ",和 " 千億 RLHF 模型 " ——兩個千億模型搭起來的。
前者,千億預訓練基座模型,主要負責各種自然語言處理任務,可以實現語言生成、文本分類、機器翻譯等功能。
後者,千億 RLHF(人類反饋深度學習)模型,則會通過人類對 AI 輸出結果的反饋,來改善強化學習的性能。
如果把預訓練基座模型,比作一個讀書破萬卷、天資聰穎的 " 學神 ";那麽 RLHF 模型,則像是一個在刷題中不斷試錯、進步的 " 學霸 "。
在今天,看到了 ChatGPT 在 AI 領域的突飛猛進,RLHF 也正逐漸成爲了不少大模型的标配。而天工使用了預訓練基座模型 +RLHF 的模型體系,讓兩個模型相互映照配合,也有深意。
一邊,是雙千億模型的結構,能讓最終的模型性能獲得更大的提升,也能讓模型的可解釋性與學習能力、任務支持大大增強。
一邊,是訓練時間和資源消耗的降低——預訓練模型所學習的通用特征,可以作爲 RLHF 模型的初始參數,讓訓練這個最 " 燒錢 " 的項目,能夠多快好省地完成。
在上文中提到的,模型對于異常情況和不良數據的魯棒性,很大程度上,也是通過兩個千億模型 " 雙劍合璧 ",進而實現的。
再高的大廈,功夫最重也是在基礎。雙千億模型,是天工能夠成爲生産力工具,最重要的頂層設計之一。昆侖萬維和奇點智源,在規劃技術路徑之初,就已經看到了當下大模型産品的設計局限,與雙千億模型可行的技術路徑,并以此爲基礎,将整個天工搭建于其上。
如同一棵樹木,擁有了健康、堅固的根系,才能長成粗壯的樹幹、茂密的枝桠,豐饒的果實才能生長出來,最終成爲人們的收獲。
結語:
過去的幾年裏,科技圈已經見過了太多的風口,來了又去,最終雁過無痕。
歸根結底,在風口正盛的時候,這些人們對未來的想象,并沒有能夠化爲實際的生産力,推動業界乃至整個社會向前進步,最終當熱潮湧過,大概避免不了沉寂的命運。
于是,在這一波生成式 AI 的風口,也有人問:這次會不會和之前一樣,潮起潮退,沙灘上隻留下一批一批的 " 裸泳者 "?
如果 2023 年的 AI 創業者們,不甘于止步于空談,那他們就應該知道:大模型不應該隻是一個美好卻空洞的花瓶。AI 應該成爲下一個十年的内燃機和交流電,推動下一次産業革命。
在這個過程中,天工想要做的,一直是一個生産力工具,一個 " 真正能幫你幹活的 AI"。
也正是基于此,天工從中國最大 GPU 集群支撐的超強算力出發,打造了雙千億模型體系,并在 AI 開源社區的共同助力下,開創性地把蒙特卡洛樹搜索算法,與 NLP 技術相結合,保證了 AI 可以爲使用者提供實打實的生産力賦能。
什麽樣的大模型,才能成爲生産力?天工的模式,可以說爲大模型賽道的其他競逐者——無論是先發的,還是後來的——打了一個樣。