作爲月之暗面的創始人,楊植麟常把他的 AGI 夢想形容爲 " 登月計劃 ",長文本就是這個偉大計劃的第一步。但現在,随着 Kimi 的爆火出圈,賽道瞬間變得擁擠,24 小時内,阿裏、360、百度緊急 " 出手 ",紛紛入局長文本賽道。
大廠的加入,讓月之暗面充滿理想化色彩的 " 登月計劃 " 有了更接地氣、更市場化的一面——從千億參數到千萬長文本,大模型好像又 " 卷 " 出了新高度。而一同被 " 卷 " 起來的,還有大模型的商業化進程。
内卷長文本
Kimi 像條 " 鲇魚 ",用 200 萬字無損上下文激活了整個國産大模型市場。3 月 23 日,360 智腦宣布正式内測 500 萬字長文本處理功能,該功能即将入駐 360 AI 浏覽器,同時 360 AI 浏覽器 App 也即将上線。
3 月 22 日晚上,阿裏通義千問宣布,向所有人免費開放 1000 萬字的長文檔處理功能,成爲全球文檔處理容量第一的 AI 應用。與此同時,也有媒體從知情人士處獲悉,百度文心一言下個月将進行版本升級,屆時也将開放長文本能力,文字範圍會在 200 萬— 500 萬。
Kimi 是月之暗面推出的一款智能助手。3 月 18 日,月之暗面宣布 Kimi 智能助手已支持 200 萬字超長無損上下文,并于即日起開啓産品内測。去年 10 月剛發布時,Kimi 可支持的無損上下文輸入長度爲 20 萬字。3 月 21 日,因過于火爆,Kimi 一度 " 宕機 "。
天使投資人、資深人工智能專家郭濤對北京商報記者分析稱,200 萬字的長文本處理能力是一個巨大的技術突破,這意味着 AI 模型可以理解和生成更複雜、更豐富的内容,這對于許多應用場景,如自動寫作、内容生成、信息檢索等,都具有重要的價值。
這可能也是 Kimi 引爆市場的關鍵。
3 月 22 日,"Kimi 概念 " 進入持續火爆的第四天,不過資本市場上已出現分化迹象,當天收盤,掌閱科技、中廣天擇收獲三連闆,因賽集團股價則跌超 4%,電廣傳媒跌超 3%。
财經評論員張雪峰對北京商報記者提到,這一突破意味着在自然語言處理領域,特别是文本生成和理解方面,Kimi 取得了重大進展,其主要技術突破包括長文本處理能力、上下文理解和訓練技術三個方面。
以長文本處理能力爲例,Kimi 能夠處理長達 200 萬字的文本,而且在處理過程中不會出現信息丢失或失真的情況。這種能力在以往的自然語言處理模型中很難實現,因爲長文本的處理需要更大的内存和更複雜的模型結構。
AGI 的初心
20 萬到 200 萬的變化,不止在于字數的簡單累積,更在于 " 無損 " 和它們共同指向的 AGI 目标。
楊植麟曾解釋稱,通往 AGI,無損的長上下文将會是一個很關鍵的基礎技術。從 Word2vec 到 RNN、LSTM,再到 Transformer,曆史上所有的模型架構演進,本質上都是在提升有效的、無損的上下文長度。
" 上下文長度可能存在摩爾定律,但需要同時優化長度和無損壓縮水平兩個指标,才是有意義的規模化。" 楊植麟說。
月之暗面曾介紹,從 20 萬字到 200 萬字,由于沒有采用常規的漸進式提升路線,月之暗面團隊遇到的技術難度也是指數級增加的。
爲了達到更好的長窗口無損壓縮性能,月之暗面研發和技術團隊從模型預訓練到對齊、推理環節均進行了原生的重新設計和開發,不走 " 滑動窗口 "" 降采樣 " 等技術捷徑,攻克了很多底層技術難點。
但字數累積的表象以及大廠相繼亮出同類型産品的情況,也讓 " 吃瓜群衆 " 對于所謂的技術突破有些疑慮。
在接受北京商報記者采訪時,伽利略資本合夥人鄭譞做了一個類比,對象就是不久前火爆全球的文生視頻大模型 Sora。
鄭譞解釋稱,文生視頻可以看做是連續的文生圖,從理論層面上,可能并不是颠覆性的突破,但是做到穩定生成長視頻确實有難度,更多解決的是工程上的問題。但也不能說工程上的創新就不是創新,月之暗面無損長文本可能也是這個道理。
概括起來,從底層技術上來看,Kimi 可能确實沒有颠覆性的突破,更像是一個突破性技術的前序技術。
" 長文本技術上需要解決上下文理解、長期記憶、複雜推理、多任務适應性以及計算效率等問題,學界其實早就有一些相應的解決方案,比如長文本處理、注意力機制優化等,但是在複雜推理和計算效率上工程難度還是很大的,各大廠也都給出了自己的方案,隻不過之前大家并沒有将‘長文本’當成關鍵詞給予足夠的關注度。" 鄭譞稱。
郭濤也提到,從目前公開資料來看,Kimi 的技術确實具有一定的競争優勢,但還不具備技術壁壘。長文本可能會成爲大模型的下一個 " 卷 " 的領域,因爲這是一個具有廣泛應用前景和商業價值的研究方向。
不過在鄭譞看來,月之暗面與其他人工智能企業真正的不同點,并不在于技術乃至商業化路線的差異,而在于 " 初心 " 的不同。
鄭譞将楊植麟形容爲一個 " 富有理想主義的創始人 "" 他的目标就是打造自己理想的 AGI,而不是從落地或者務實的視角去思考當下的問題 "。
商業化 " 肉搏 "
理想化的月之暗面,也不能完全 " 脫俗 "。Kimi 爆火時,有媒體報道稱,月之暗面相關負責人提到,年内将有商業化初步方案。對于具體的商業化路徑以及大廠競相加入是否會對 Kimi 的商業化産生影響等問題,北京商報記者聯系了月之暗面,但截至發稿未收到回複。
鄭譞猜測,相較于特定應用,Kimi 的商業化可能類似于 OpenAI,更傾向于一種通用性的商業化,例如商業化的高端接入入口用以擴展客戶的應用等。
目前已有多家企業确認了與 Kimi 的合作。例如 3 月 24 日,萬興科技對外透露,公司旗下視頻創意軟件萬興喵影已率先接入 Kimi,其 AI 寫文案功能當前已采用 Kimi 大模型服務,萬興科技正加速旗下其他産品對 Kimi 的對接測試。
而對于大廠紛紛加入長文本競争的原因,張雪峰認爲,長文本處理能力是自然語言處理領域的一個重要方向,而且随着信息量的增加,對長文本處理能力的需求也越來越迫切。
張雪峰進一步補充稱,Kimi 的技術突破表明長文本處理已經成爲可能,因此大廠紛紛投入研發長文本處理技術,以保持競争力和領先地位。另外,長文本處理也是滿足用戶需求的重要途徑,可以爲用戶提供更全面、準确的信息服務。
至于大廠的入局,是否會給月之暗面商業化造成影響,鄭譞則給出了否定的回答,原因在于 " 雖然都在講長文本,但大家的側重點顯然是千差萬别的,而且各家所追求的願景也有着天壤之别 "。
回歸 " 爲什麽是 Kimi" 的問題,中信建投研報提到,月之暗面打造高關注度應用 Kimi Chat,一方面在于核心團隊技術背景深,另一方面在于産品面向 C 端免費開放,注重産品運營。
據悉,月之暗面目前在招的 31 個崗位中,其中 6 個爲市場、運營類崗位,包括達人運營、國内廣告投放等。" 目前招募更多市場、運營類人才,後續有望推動産品進一步破圈。" 研報稱。
北京商報記者 楊月涵