月之暗面北京辦公室 (圖片來源:钛媒體 App 編輯拍攝)
繼 25 億美元估值炸場之後,楊植麟團隊再扔下 " 震撼彈 "。
钛媒體 App 獲悉,3 月 18 日上午,國内 AI 創業公司月之暗面(Moonshot AI)宣布在大模型長上下文窗口技術上取得新的突破,Kimi 智能助手已支持 200 萬字超長無損上下文,短短五個月内 " 長文本 " 輸入量提升 10 倍,并于即日起開啓産品 " 内測 "。
18 日上午,月之暗面工程副總裁許欣然對钛媒體 App 等表示,大模型無損上下文長度的數量級提升,也會進一步幫助大家打開對 AI 應用場景的想象力,包括完整代碼庫的分析理解、自主完成多步驟複雜任務的智能體 Agent、不會遺忘關鍵信息的終身助理、真正統一架構的多模态模型等。
許欣然強調,過去一段時間 Kimi 正不斷提升大模型技術能力,尤其是更複雜的模型需求越來越多。而在整個過程當中,Kimi 模型本身跟用戶一直存在彼此相互促進增長的狀态。
月之暗面創始人楊植麟博士表示,通往通用人工智能(AGI)的話,無損的長上下文将會是一個很關鍵的基礎技術。曆史上所有的模型架構演進,本質上都是在提升有效的、無損的上下文長度。上下文長度可能存在摩爾定律,但需要同時優化長度和無損壓縮水平兩個指标,才是有意義的規模化。
月之暗面聯合創始人 周昕宇則向钛媒體 App 透露,月之暗面即将在今年内推出自研的多模态大模型。同時,商業化也在快速推進。
當被問及之前爲何不做多模态模型時,周昕宇回應稱," 如果拿出别人也有的東西,對于世界來說沒有什麽新價值,大家就不要再陷入‘百模大戰’怪圈,我們不做跟随的東西。"
據悉,月之暗面成立于 2023 年 3 月,是國内大模型領域的關鍵玩家。其核心團隊曾參與到 Google、華爲盤古、智源悟道等多個大模型研發中。
月之暗面創始人、CEO 楊植麟本科畢業于清華大學,博士畢業于卡内基梅隆大學計算機專業,曾就職于 Google Brain(谷歌大腦)和美國初創公司 FAIR,師從蘋果公司人工智能負責人 Ruslan Salakhutdinov,有多年創業經驗,曾與多名圖靈獎得主合作發表論文,是盤古、悟道等國内最早大模型的技術貢獻者。
同時,楊植麟還是中國 35 歲以下 NLP(自然語言處理)領域引用最高的研究者,也是 Transformer-XL 和 XLNet 兩篇重要論文的第一作者——兩篇文章均爲大語言模型領域的核心技術。而另兩位聯合創始人周昕宇和吳育昕都有超 10000 次 Google Scholar 引用。
人員方面,目前,月之暗面團隊人數已超過 80 人。
融資方面,成立不到一年内,月之暗面就已完成兩筆融資,總額超過 13 億美元,投資方包括紅杉中國、真格基金、小紅書、美團、阿裏等。今年 2 月的一筆融資成爲國内 AI 大模型公司迄今獲得的單輪最大金額融資。
兩輪投資後,目前,月之暗面公司估值或達 25 億美元。
技術産品層面,成立至今,月之暗面已完成從通用大模型到上層應用的布局。
其中,大模型基礎層,月之暗面已訓練千億級别的自研通用大模型,并獲得了國内大模型備案審批;應用層,2023 年 10 月,月之暗面推出全球首個支持輸入 20 萬漢字的智能助手産品 Kimi,支持 20 萬漢字的長文本輸入,主打無損記憶以及 " 長文本(Long Context)",被網友稱爲 ChatGPT 中文平替,善于讀長文、搜網頁,可以用于會議紀要、輔助編程、文案寫作等場景。
根據 SimilarWeb 顯示,春節之後 Kimi 訪問量大增。另據公開數據顯示,2024 年 1 月,Kimi 智能助手的訪問量 142 萬,在大模型創業公司的 "AI ChatBots" 産品中排在第一;月環比增長率 94.1%,增長速度也在大模型創業公司排第一位。
許欣然表示,目前 Kimi 平均每個月可能都有 100% 以上的增速。
今天上午會議上,許欣然宣布,即日起,月之暗面旗下的 Kimi Chat、Moonshot 大模型将統一名稱,分别更名爲 Kimi 智能助手、Kimi 大模型。
" 我們就簡化一下,以後統一讓大家記住 Kimi。" 許欣然對钛媒體 App 等表示。
具體來說,相比此前 20 萬字長度,更長的文本輸入首先能帶來的變化就是解鎖更多超長任務、複雜任務。過去隻能整理 50 份簡曆,現在可以線性增長至 500 份。
月之暗面團隊提出 "10 分鍾速成定律 ",并指出 Kimi 快速學習一個新領域的能力,人類要 10000 小時才能成爲專家的領域,AI 隻需要 10 分鍾,就能接近任何一個新領域的初級專家水平。
許欣然展示百萬字書籍的打印厚度
例如,上傳幾十萬字的德州撲克的教程文檔,再提出一個比賽開局,Kimi 就可以分析比賽場上的局面,并提供出牌策略的指導;同時,kimi 還能讀懂近百萬字中醫診療手冊、《甄嬛傳》小說等,它都能一一解答。
此外,除了中英文,Kimi 還能直接閱讀代碼庫文件,然後用中文寫出詳細清晰的代碼庫設計文檔,即便是毫無注釋的陳年老代碼也能快速梳理出結構。
月之暗面方面表示,從很多 Kimi 智能助手用戶的反饋來看,20 萬字的無損長上下文幫助他們打開了新的 AI 應用世界,帶來了更大的價值,但随着他們嘗試更複雜的任務、解讀更長的文檔,依然會遇到對話長度超出限制的情況。這也是大模型産品的無損上下文長度需要繼續提升的一個直接原因。此外,Kimi 智能助手的智能搜索,更是離不開大模型的無損長上下文能力。
月之暗面指出,正是因爲用戶對 Kimi 發出的指令越來越複雜,因此團隊也一直緻力于提升 Kimi 能遵循的指令的複雜度、信息檢索能力。同時由于用戶的使用場景從工作逐漸擴展到生活的方方面面,團隊在網頁端之外補齊了微信小程序、iOS 端以及安卓端等。
許欣然透露,Kimi 充分發揮其作爲 " 矽基生命 " 的優勢,夜間也沒歇着,持續不斷地自我進化中。
周昕宇強調,出于用戶共創的考慮,Kimi 的定位比起 " 聊天機器人 " 更像一個 " 智能助手 ",因爲普通對話對大模型自身叠代的幫助有限。
會後對話交流中,周昕宇表示,對于呼聲很高的提示詞教程,目前已經在準備當中,預計一個月左右發布;同時,多模态模型也在不斷研發,而音頻處理能力、海外版同樣在需求池内。
許欣然向钛媒體 App 表示,月之暗面的 AI Infra(基礎設施)團隊也在持續提升能效比,均是采用自研技術。據稱比起剛發布時,Kimi 在完全相同的硬件條件下響應速度提升了 3 倍。
目前,Kimi 智能助手仍完全免費。但随着用戶群體的擴大和使用量的增長,難免會出現算力不足的情況。許欣然透露,今年上半年預計開啓商業化模式。
" 我覺得這個東西都是付費内容。我們思考點不是從性價比來進行(商業化)。而是我們應該要幫助用戶解決什麽問題。在能解決問題的情況下,我們将商業化不斷開放和規劃,到時候你(客戶)就知道哪個更好了。" 周昕宇表示。
(本文首發钛媒體 App,作者|林志佳)