爲應對新一輪技術競賽，谷歌還在不斷出後手。
這兩天，一個名叫PaLM-E的大模型在 AI 學術圈瘋狂刷屏。
它能隻需一句話，就讓機器人去廚房抽屜裏拿薯片。
即便是中途幹擾它，它也會堅持執行任務。
PaLM-E 擁有5620 億參數，是 GPT-3 的三倍多，号稱史上最大規模視覺語言模型。而它背後的打造團隊，正是谷歌和柏林工業大學。
作爲一個能處理多模态信息的大模型，它還兼具非常強的邏輯思維。
比如能從一堆圖片裏，判斷出哪個是能滾動的。
還會看圖做算數：
有人感慨：
這項工作比 ChatGPT 離 AGI 更近一步啊！
而另一邊，微軟其實也在嘗試 ChatGPT 指揮機器人幹活。
這麽看，谷歌是憑借 PaLM-E 一步到位了？
邏輯性更強的大模型
PaLM-E 是将 PaLM 和 ViT 強強聯合。
5620 億的參數量，其實就是如上兩個模型參數量相加而來（5400 億 +220 億）。
PaLM 是谷歌在 22 年發布的語言大模型，它是 Pathways 架構訓練出來的，能通過 " 思考過程提示 " 獲得更準确的邏輯推理能力，減少 AI 生成内容中的錯誤和胡言亂語。
Pathways 是一種稀疏模型架構，是谷歌 AI 這兩年重點發展方向之一，目标就是訓練出可執行成千上百種任務的通用模型。
ViT 是計算機視覺領域的經典工作了，即 Vision Transformer。
兩者結合後，PaLM-E 可以處理多模态信息。包括：
語言
圖像
場景表征
物體表征
通過加一個編碼器，模型可以将圖像或傳感器數據編碼爲一系列與語言标記大小相同的向量，将此作爲輸入用于下一個 token 預測，進行端到端訓練。
具體能力方面，PaLM-E 表現出了比較強的邏輯性。
比如給它一張圖片，然後讓它根據所看到的做出蛋糕。
模型能先判斷出圖像中都有什麽，然後分成 9 步講了該如何制作蛋糕，從最初的磕雞蛋到最後洗碗都包括在内。
有人還調侃說，這機器人怎麽在把蛋糕給我前先自己吃了？
還有根據圖片做判斷：我能在這條路上騎自行車嗎？
模型進行一系列邏輯推斷：
1、不能進入
2、除了自行車
3、除了自行車以外都不能進入
4、答案是可以
這和人類思考的過程确實很像了。
不僅如此，模型的最強大之處在于，它無需經過預處理，即提前理解環境。
它做出判斷和回答，完全是基于它自己的 " 經驗 "。
研究人員表示，這項成果表現出了很強的正向遷移（positive transfer）能力。
在多個領域任務的訓練中，PaLM-E 的表現都優于單項任務機器人模型。
而且他們還發現，語言模型的規模越大，它最終能保持的語言理解能力越強。
比如使用 5400 億參數規模的 PaLM 時，PaLM-E 在語言任務上的實際能力僅下降了 3.9%。
從實驗結果來看，PaLM-E 在 OK-VQA 基準上達到新 SOTA。
在模拟環境下的任務完成度也都不錯。
再次驗證大力出奇迹
目前這項研究已引發非常廣泛的讨論。
主要在于以下幾個方面：
1、一定程度上驗證了 " 大力出奇迹 "
2、比 ChatGPT 更接近 AGI？
一方面，作爲目前已知的規模最大的視覺語言模型，PaLM-E 的表現已經足夠驚豔了。
去年，DeepMind 也發布過一個通才大模型 Gota，在 604 個不同的任務上接受了訓練。
但當時有很多人認爲它并不算真正意義上的通用，因爲研究無法證明模型在不同任務之間發生了正向遷移。
論文作者表示，這或許是因爲模型規模還不夠大。
如今，PaLM-E 似乎完成了這一論證。
不過也有聲音擔心，這是不是把卷參數從 NLP 引到了 CV 圈？
另一方面，是從大趨勢上來看。
有人表示，這項工作看上去要比 ChatGPT 更接近 AGI啊。
的确，用 ChatGPT 還隻是提供文字建議，很多具體動手的事還要自己來。
但 PaLM-E 屬于把大模型能力拉入到具象化層面，AI 和物理世界之間的結界要被打破了。
而且這個趨勢顯然也是大家都在琢磨的，微軟前不久也發布了一項非常相似的工作——讓 ChatGPT 指揮機器人。
除此之外，還有很多人表示，這再一次驗證了多模态是未來。
不過，這項成果現在隻有論文和 demo 發布，真正能力有待驗證。
此外還有人發現，模型驅動的機器人，背後的開發團隊在幾周前被谷歌一鍋端了。。。
所以關于 PaLM-E 的更多後續，咱們還得再蹲蹲看。
論文地址：
https://arxiv.org/abs/2303.03378
參考鏈接：
[ 1 ] https://palm-e.github.io/
[ 2 ] https://news.ycombinator.com/item?id=35050475
[ 3 ] https://metro.co.uk/2023/02/23/google-lays-off-team-of-robots-that-cleaned-tables-and-sorted-rubbish-18336703/
