編譯｜依婷
編輯｜Panken
智東西 11 月 14 日消息，據外媒 The Information 報道，一位參與工作的内部人士稱，谷歌最近一直在爲提升其聊天機器人産品 Gemini 的性能而努力，該公司希望模型性能提升的速度可以與去年相當，這促使研究人員專注于其他方法來勉強取得效果。
這種情況和 OpenAI 的遭遇類似。此前有報道稱，OpenAI 模型性能提升速度有所放緩，該公司正改變技術策略來解決問題。
回到谷歌本身，上述人士稱，谷歌在投入了大量算力和訓練數據，如來自網頁的文本和圖像後，并沒有實現一些高管所期待的性能提升。當研究人員使用更多的數據和算力來訓練模型時，過去版本的 Gemini 大模型改進速度更快。
谷歌的經曆是 scaling law（縮放定律）受到考驗的另一迹象。許多研究人員認爲，隻要使用更專業的 AI 芯片來處理更多的數據，模型就會以相同的速度改進。但目前來看，這兩個因素似乎遠遠不夠。
這個問題成爲谷歌的心頭大患。因爲在開發者和客戶數量方面，Gemini 模型落後于 OpenAI 的 GPT 模型，而谷歌一直希望它在算力資源方面的優勢，可以助力它在模型性能方面超越 OpenAI。與此同時，兩家公司都在開發由現有技術版本提供支持的新産品，這些産品可以幫助軟件程序員和其他辦公人員，在處理繁瑣及複雜工作時，實現自動化。
" 我們對在 Gemini 上看到的進展很滿意，在合适的時機我們會披露更多消息。" 谷歌發言人稱，公司正在重新考慮如何處理訓練數據并在數據上大量投資。這位發言人說，谷歌還成功地加快了模型的響應速度，這 " 對于以谷歌的規模提供 AI 服務很重要 "。
在 OpenAI，研究人員發明了推理模型等新技術，以彌補在模型訓練階段，使用傳統 scaling law 技術導緻的性能提升放緩問題。谷歌似乎也在效仿。最近幾周，DeepMind 在其 Gemini 部門内組建了一個團隊，該團隊由首席研究科學家 Jack Rae 和前 Character.AI 聯合創始人 Noam Shazeer 領導，旨在開發類似 OpenAI 推理模型的能力。
開發 Gemini 的研究人員也一直專注于對模型進行手動改進。參與這項工作的人說，改進工作包括更改它們的 " 超參數（hyperparameters）"，或者是決定模型如何處理信息的變量，比如，模型在訓練數據中不同概念或模塊之間建立聯系的速度。研究人員在稱爲 " 模型調優（model tuning）" 的過程中測試不同的超參數，以檢驗哪些變量會帶來最佳結果。
上述人士說，谷歌在其傳統方法中遇到的一個問題是，它在用于開發 Gemini 的數據中發現了相同信息的副本。他們說，這可能損害了 Gemini 的表現。對此，谷歌發言人回複稱，此類問題對團隊來說并不新鮮。
另外，該人士還透露，谷歌研究人員曾嘗試使用 AI 生成的數據（也稱爲合成數據），以及音視頻作爲 Gemini 的訓練數據來改進模型性能，但沒有産生顯著效果。
結語：巨頭遇到瓶頸，"AI 泡沫 " 還是 AGI？
一周時間，OpenAI 和谷歌這兩大 AI 巨頭接連被爆出模型性能提升緩慢問題，且目前來看兩家公司都沒有找到有效解法，scaling law 的有效性受到挑戰。
從公司個體來看，兩巨頭的技術領先地位将面臨極大挑戰；從行業來看，技術瓶頸長期無解可能會導向悲觀派所說的 "AI 泡沫 "。
世界離 AGI 還有多遠？還要看這些巨頭公司們多久突破技術瓶頸。
來源：The Information
