沒有疑問,Gemini 1.5 Pro 的隆重推出被 Sora 搶了風頭。
社交平台 X 上 OpenAI 介紹 Sora 的第一條動态,現在已經被浏覽了超過 9000 萬次,而關于 Gemini 1.5 Pro 熱度最高的一條,來自谷歌首席科學家 Jeff Dean,區區 123 萬人。
或許 Jeff Dean 自己也覺得郁悶。Gemini 1.5 Pro 和 Sora 共同發布的一周後,他在 X 上點贊了沃頓商學院副教授 Ethan Mollick 認爲人們對大模型的注意力發生了偏差的觀點。
Ethan Mollick 幾乎是教育界最早公開推崇生成式 AI 的人之一,他在 2023 年 2 月公開呼籲學生應該都應該開始用 ChatGPT 寫論文。而這一次他的觀點是,考慮到大模型在圖像生成方面所體現出的有限價值,它實在是引起了過多的讨論了。
" 對于大模型的實驗室來說,圖像生成更像是一個聚會上的節目 ...... 做爲内核的 LLM 才是價值所在。但社交媒體更樂于分享照片。"
——沒說的是,社交媒體也更樂于分享 Gif,以及視頻。
人類是視覺動物,所以 Sora 才會這麽搶眼。或許我們太高估了 Sora,又太忽視了 Gemini 1.5 Pro。
Gemini 1.5 Pro 展現出的衆多能力中有一點很特殊,它已經是一個具備處理視頻語料輸入的多模态大模型。Sora 能将文字擴展成視頻,Gemini 1.5 Pro 的野心是把理解視頻的能力開放出來。在對模型能力的考驗上,很難說後者就弱于前者。
這背後的基礎性工作在上下文輸入長度上。Gemini 1.5 Pro 的上下文長度達到 1M Token,這意味着一小時的視頻、3 萬行代碼或者 JK · 羅琳把小說從《哈利波特與魔法石》寫到《哈利波特與鳳凰社》,遠高于包括 GPT、Claude 系列在内的目前市面上所有的大模型。而谷歌甚至透露,1M Token 并不是極限,谷歌内部已經成功測試了高達 10M Token 的輸入,也就是說,它已經能一口氣看完 9 個小時的《指環王》三部曲。
上下文長度抵達 10M Token 到底意味着什麽,等到 Sora 帶來的激情稍褪,人們逐漸回過味兒來。
X、Reddit...... 越來越多的讨論場開始關注到 10M Token 所展現出的可能性,其中最大的争議在于,它是否 " 殺死 " 了 RAG(Retrieval Augment Generation,檢索增強生成)。
大模型從概念走向商業應用的過程中,本身的問題逐漸暴露,RAG 開始成爲貫穿整個 2023 年最火熱的技術名詞。
一個被普遍接受的描述框架給這項技術找到了最精準的定位。如果将整個 AI 看作一台新的計算機,LLM 就是 CPU,上下文窗口是内存,RAG 技術是外挂的硬盤。RAG 的責任是降低幻覺,并且提升這台 " 新計算機 " 的實效性和數據訪問權限。
但本質上這是因爲這台 " 新計算機 " 仍然又笨又貴,它需要更多腦容量、需要了解更具專業性的知識,同時最好不要亂動昂貴又玻璃心的那顆 CPU。RAG 某種程度上是爲了生成式 AI 能夠盡早進入應用層面的權宜之計。
10M Token 的上下文輸入上限,意味着很多 RAG 要解決的問題不成問題了,然後一些更激進的觀點出現了。
曾構建了評測基準 C-EVAL 的付堯認爲,10M Token 殺死了 RAG ——或者更心平氣和的說法是,長文本最終會取代 RAG。
圖源:X
這個觀點引發了巨大讨論,他也随後對這個看起來 " 暴論 " 式的判斷所引發的反對觀點做了進一步解釋,值得一看。
其中最重要的,是長文本相比于 RAG 在解碼過程中檢索上的優越性:
"RAG 隻在最開始進行檢索。通常,給定一個問題,RAG 會檢索與該問題相關的段落,然後生成。長上下文對每一層和每個 Token 進行檢索。在許多情況下,模型需要進行即時的每個 Token 的交錯檢索和推理,并且隻有在獲得第一個推理步驟的結果後才知道要檢索什麽。隻有長上下文才能處理這種情況。
針對 RAG 支持 1B 級别的 Token,而目前 Gemini 1.5 pro 支持的上下文長度是 1M 的問題:
" 确實如此,但輸入文檔存在自然分布,我傾向于相信大多數需要檢索的案例都在百萬級以下。例如,想象一個處理案例的層,其輸入是相關的法律文件,或者一個學習機器學習的學生,其輸入是三本機器學習書籍——感覺不像 1B 那麽長,對嗎?"
" 大内存的發展并不意味着硬盤的淘汰。" 有人持更溫和的觀點。
出于成本和效率上的考慮,超長文本輸入在這兩方面顯然并不成熟。因此哪怕面對 10M Token 的上下文輸入上限,RAG 仍然是必須的,就像我們時至今日仍然沒有淘汰掉硬盤。
圖源:X
如果将上下文的窗口設定爲 1M,按現在 0.0015 美元 /1000token 的收費标準,一次請求就要花掉 1.5 美元,這麽高的成本顯然是無法實現日常使用的。
時間成本上,1M 的上下文長度在 Gemini 1.5 Pro 的演示實例中,需要 60 秒來完成結果的輸出——但 RAG 幾乎是實時的。
付堯的觀點更傾向于—— " 貴的東西,缺點隻有貴 "。
"RAG 很便宜,長上下文很昂貴。确實如此,但請記住,與 LLM 相比,BERT-small 也便宜,n-gram 更便宜,但今天我們已經不使用它們,因爲我們希望模型首先變得智能,然後再變得智能模型更便宜。
——人工智能的曆史告訴我們,讓智能模型變得更便宜比讓廉價模型變得智能要容易得多——當它很便宜時,它就永遠不會智能。"
一位開發者的觀點代表了很多對這一切感到興奮的技術人員:在這樣一場技術革命的早期階段,浪費一點時間可能也沒有那麽要緊。
" 假設我花了 5 分鍾或 1 小時(見鬼,即使花了一整天)才将我的整個代碼庫放入聊天的上下文窗口中。如果在那之後,人工智能能夠像谷歌聲稱的那樣,在剩下的對話中近乎完美地訪問該上下文,我會高興、耐心和感激地等待這段時間。" 這位在一家數字産品設計公司中供職的博客作者裏這樣寫道。
在這位開發者發布這條博客之前,CognosysAi 的聯創 Sully Omarr 剛剛往 Gemini 1.5 Pro 的窗口裏塞進去一整個代碼庫,并且發現它被完全理解了,甚至 Gemini 1.5 Pro 辨别出了代碼庫中的問題并且實施了修複。
" 這改變了一切。"Sully Omarr 在 X 上感歎。
被改變的可能也包括與 Langchain 相關的一切。一位開發者引用了 Sully Omarr 的話,暗示 Langchain 甚至所有中間層玩家即将面臨威脅。
向量數據庫可能突然之間就變成了一個僞需求——客戶直接把特定領域的知識一股腦兒扔進對話窗口就好了,爲什麽要雇人花時間來做多餘的整理工作呢(并且人腦對信息的整理能力也比不過優秀的 LLM)?
付堯的預測與這位開發者相似,甚至更具體——以 Langchain 、LLaMA index 這類框架作爲技術棧的初創公司,會在 2025 年迎來終結。
但必須強調的是,付堯對于 RAG 的判斷和解釋弱化了在成本和響應速度上的考慮,原因或許是他正在爲谷歌工作,而這兩點仍然是讓在當下 RAG 具備高價值的決定性因素。而如果看向這場上下文長度的讨論背後,谷歌在這場競争中最大的優勢開始展現出來了。
他擁有目前這個行業裏最多的計算能力。換句話說,對于上下文長度極限的探索,目前隻有谷歌能做,它也拿出來了。
從 2014 年至今,谷歌已經構建了 6 種不同的 TPU 芯片。雖然單體性能仍然與 H100 差距明顯,但 TPU 更貼合谷歌自己生态内的系統。去年 8 月,SemiAnalysis 的兩位分析師 Dylan Patel 和 Daniel Nishball 揭露谷歌在大模型研發上的進展時表示,⾕歌模型 FLOPS 利⽤率在上一代 TPU 産品 TPUv4 上已經⾮常好,遠超 GPT-4。
目前谷歌最新的 TPU 産品是 TPUv5e。兩位分析師的調查顯示,谷歌掌握的 TPUv5e 數量比 OpenAI、Meta、CoreWeave、甲骨文和亞馬遜擁有的 GPU 總和更多。文章裏稱 TPUv5e 将會用到谷歌最新的大模型(即是後來發布的 Gemini 系列)訓練上,算力高達 1e26 FLOPS,是 GPT-4 的 5 倍。
圖源:來自網絡
這個猜測在谷歌最新開源的 Gemma 身上得到了佐證。Gemma 是 Gemini 的輕量化版本,兩者共享相同的基礎框架和相關技術,而在 Gemma 放出的技術報告中表明,其訓練已經完全基于 TPUv5e。
這也不難理解爲何奧特曼要花 7 萬億美元爲新的算力需求未雨綢膜。雖然 OpenAI 擁有的總 GPU 數量在 2 年内增長了 4 倍。
""In our research, we ’ ve also successfully tested up to 10 million tokens."(在研究中,我們也成功測試了多達 10M Token)"
這被 Sora 暫時掩蓋住的一次嘗試或許在未來會作爲生成式 AI 上的一個重要時刻被反複提及,它現在也真正讓發明了 transformer 框架的谷歌,回歸到這場本該由自己引領的競争中了。