5 月 17 日,谷歌在其 I/O 開發者大會上發布的最新通用大語言模型 PaLM2 使用的訓練數據,幾乎是 2022 年的上一代模型的 5 倍。該模型采用了 3.6 萬億個令牌(token)進行訓練。之前版本的 PaLM 發布于 2022 年,當時使用的令牌爲 7800 億個。
新的模型比之前的大語言模型更小,這就意味着該公司的技術效率得以提升,但卻可以完成更加複雜的任務。PaLM2 基于 3400 億個參數訓練,這項指标可以說明該模型的複雜程度。最初的 PaLM 則基于 5400 億個參數訓練。
因此,該模型在編程、數學和創意寫作方面的表現更爲優秀。
根據公開披露的信息,PaLM2 比現有的任何模型都更加強大。Facebook 在 2 月份宣布的 LLaMA 大語言模型采用 1.4 萬億個令牌。OpenAI 上一次披露 GPT-3 的訓練規模時表示,它當時基于 3000 億個令牌。OpenAI 今年 3 月發布 GPT-4 時表示,它在許多專業測試中展示出 " 與人類媲美的表現 "。
谷歌和 OpenAI 都在努力吸引想要用聊天機器人代替傳統搜索引擎,從而直接獲取答案的用戶。
谷歌在一篇關于 PaLM2 的博文中表示,該模型使用了一種名爲 " 計算機優化擴張 " 的新技術。這就讓大語言 " 更高效、整體性能更好,包括加快推理速度、減少參數調用和降低服務成本。"
該模型針對 100 種語言進行訓練,可以執行更廣泛的任務。它已經被用于 25 項功能和産品,包括該公司的實驗性聊天機器人 Bard。按照從小到大的規模劃分,該模型共有 4 種,分别是壁虎(Gecko)、水獺(Otter)、野牛(Bison)和獨角獸(Unicorn)。
随着新的人工智能應用快速進入主流,圍繞底層技術的争議也越來越激烈。
谷歌高級研究科學家艾爾 · 邁赫迪 · 艾爾 · 麥哈麥迪(El Mahdi El Mhamdi)于今年 2 月辭職,主要原因就是人工智能技術缺乏透明度。本周二,OpenAI CEO 山姆 · 阿爾特曼(Sam Altman)出席美國國會針對隐私和技術舉行的聽證會,他也認爲需要設立一套新的制度來應對人工智能的潛在問題。