北京時間 5 月 11 日淩晨,谷歌在 2023 年 I/O 開發者大會上發布了全新一代的大語言模型 PaLM2,稱其可在移動設備上使用,成爲了備受關注的焦點。
谷歌用了大量數學和科學數據集對 PaLM2 進行訓練,相比 2022 年的 PaLM 模型,PaLM2 在多語言處理、推理和編碼能力上有了很大的提升。
據官方測試,PaLM2 在某些結果處理(例如數學問題)上表現比 GPT-4 更優秀。谷歌對 PaLM2 做了算法優化,使得它在體積上比 PaLM 要小但整體性能更好,計算效率更高。
PaLM2 支持 100 多種不同的語言和 20 多種編程語言,包括 JavaScript、Python、Prolog、Verilog、Fortran 等。
同時,支持多模态的 PaLM2 還可以看懂和生成音視頻内容,其中音視頻内容包括曲調、編碼器、mimes、字幕、媒體類型和剪輯。
PaLM 2 進行了更多多語言能力方面的訓練,文本橫跨 100 多種語言,極大程度上提高了 PaLM2 理解、生成和翻譯細微差異化文本的能力,解決了對成語、詩歌和謎語等具有高難度文本處理門檻的問題。與此同時,PaLM2 能夠通過高級别的語言能力考試。
在推理能力方面, 由于 PaLM 2 在包含科學論文和數學表達式的網頁上進行了訓練并進行模拟推理,因此具備了在邏輯、常識推理和數學方面的改進能力。
而在編碼能力上,PaLM 2 支持 20 多種編程語言。由于它是基于大量公開可用的源代碼數據集進行預訓練,因此擅長處理 Python 和 JavaScript 等流行編程語言,同時也可進行 Prolog、Fortran 和 Verilog 等小衆語言的編程。
據 CEO 皮查伊介紹,PaLM 2 将擁有從小到大四種尺寸,分别爲 Gecko、Otter、Bison 和 Unicorn。Gecko 是 PaLM 2 中體積最小的模型,可以在移動設備上運行,速度足夠快,即使離線狀态也可以進行交互應用。
Otter 是中等大小模型,适合各種任務,包括自然語言處理、機器翻譯和代碼生成。
Bison 是更大的模型,可以處理更複雜任務,例如生成逼真的圖像和視頻。
Unicorn 是最大尺寸,可用于處理最複雜的任務,比如編寫創意文本,如詩歌、代碼、腳本、音樂作品、電子郵件、信件等。
此次發布會,谷歌在多項産品和服務方面推出了重磅更新,涉及谷歌地圖、人工智能、搜索、安卓、谷歌雲和 Pixel 等領域。
谷歌 CEO 皮查伊表示,此次發布的 PaLM 2 是目前最先進的語言模型,也是其 PaLM 語言模型的第二個版本。新版本具有升級的多語言、推理和編碼能力,将爲 25 種谷歌産品提供支持,進一步擴展谷歌的 AI 生态圈。
前瞻經濟學人 APP 資訊
更多本行業研究分析詳見前瞻産業研究院《2023-2028 年中國 AIGC 産業發展前景預測與投資戰略規劃分析報告》同時前瞻産業研究院還提供産業大數據、産業研究、政策研究、産業鏈咨詢、産業圖譜、産業規劃、園區規劃、産業招商指南、IPO 募投可研、IPO 業務與技術撰寫、IPO 工作底稿咨詢等解決方案。