OpenAI 研發的聊天機器人 ChatGPT 的驚人功能引發了人們對人工智能的新興趣和投資。但上周晚些時候,OpenAI 的首席執行官 Sam Altman 警告說,構建龐大 AI 模型、研發生成式 AI 機器人的時代已經結束。
近年來,OpenAI 通過采用現有的機器學習算法并将其擴展到以前無法想象的規模,在與語言一起工作的人工智能方面取得了一系列令人印象深刻的進步。GPT-4 是這些項目中最新的一個,它可能是使用數萬億個文本單詞和數千個強大的計算機芯片進行訓練的,構建這一龐大的 AI 模型耗資超過 1 億美元。
但該公司的首席執行官 Sam Altman 表示,在 AI 領域進一步的進步并不是讓這類模型變得更大:
我認爲我們正處于構建大型 AI 模型時代的末期,未來,我們會以其他方式讓這些模型變得更好。
有分析認爲,Altman 的這番表态意味着,在當前各科技公司都在開發和部署新 AI 算法、并攀比其模型規模的競賽中,出現了出人意料的轉折。自 OpenAI 于去年 11 月推出 ChatGPT 以來,微軟已利用底層技術在其 Bing 搜索引擎中添加了一個聊天機器人,谷歌也推出了一個名爲 Bard 的聊天機器人來與之競争。許多公司紛紛推出類似的聊天機器人以顯示自己不甘人後。
與此同時,包括 Anthropic、AI21、Cohere 和 Character.AI 在内的衆多資金充足的初創公司正在投入大量資源來構建更大的算法,以努力趕上 OpenAI 的技術。
同時有分析認爲,Altman 的這一表态可能意味着,GPT-4 或許是 OpenAI 使模型更大并爲它們提供更多數據的戰略中出現的最後一個重大進展。Altman 并沒有說什麽樣的研究策略或技術可能會取代它。在描述 GPT-4 的論文中,OpenAI 估計這種擴大模型規模的策略将會有邊際效益遞減的趨勢,Altman 也強調,受制于數據中心數量和建造速度,開發更大規模的 AI 模型也存在物理限制。
Cohere 的聯合創始人 Nick Frosst 曾在谷歌從事 AI 方面的工作,他說 Altman 認爲增加規模不會永遠奏效的想法聽起來是對的。他也認爲,Transformer(GPT-4 及其競争對手的核心機器學習模型類型)的進展已經沒有什麽擴展的可能性:
有很多方法可以讓 Transformer 變得更好、更有用,而且很多方法不涉及向模型添加參數。新的 AI 模型設計或架構,以及基于人類反饋的進一步調整是許多研究人員已經在探索的有前途的方向。
這些語言模型中的第一個 GPT-2 于 2019 年發布。它的最大形式有 15 億個參數,用于衡量其原始人工神經元之間可調節連接的數量。當時,OpenAI 的研究人員發現,擴大規模可以使模型更加連貫。因此,2020 年發布的 GPT-3 規模更大,參數數量高達 1750 億。該模型生成詩歌、電子郵件和其他文本的廣泛能力讓投資者眼前一亮,并引發了近期的 AI 熱潮。
盡管 OpenAI 對 GPT-4 的大小和内部工作原理保密,但它的一些人工智能很可能已經來自于超越規模的觀察。一種可能性是它使用了一種稱爲強化學習的方法和人類反饋,用于增強 ChatGPT。它涉及讓用戶判斷模型答案的質量,以引導它提供更有可能被判斷爲高質量的響應。
GPT-4 的非凡能力讓一些專家感到震驚,并引發了更多争論。包括馬斯克在内的科技界領袖最近寫了一封公開信,呼籲暫停六個月的任何比 GPT-4 更強大的 AI 開發。
Altman 證實他的公司目前沒有開發 GPT-5:
這封信的早期版本聲稱 OpenAI 目前正在訓練 GPT-5,我們沒有,而且一段時間内也不會。