作者 | ZeR0
編輯 | 漠影
智東西 12 月 5 日報道，AGI 競賽愈演愈烈！就在 OpenAI 宣布将于未來 12 天直播新發布和 demo 前，昨夜，Google DeepMind 發布大型基礎世界模型 Genie 2，能生成各種可控制動作、可玩的 3D 環境，還可以用于訓練和評估具身 agent。
隻要給一張提示圖像，Genie 2 就能按照你輸入的文本提示，生成對應的交互式虛拟世界。無論是人類還是 AI agent，都可以使用鍵盤和鼠标來在由 AI 生成的 3D 遊戲世界裏探索和互動。
Genie 2 是一個自回歸潛在擴散模型，訓練于大型視頻數據集。經過自動編碼器後，視頻中的潛在幀被傳遞到大型 Transformer 動力學模型。該模型使用與大語言模型類似的因果掩碼進行訓練。
在推理時，Genie 2 能以自回歸方式進行采樣，逐幀獲取單個動作和過去的潛在幀。Google DeepMind 使用 CFG（無分類器指導，classifier-free guidance）來提高動作可控性。
博客文章放出大量由未蒸餾的基礎模型生成的視頻示例，來展示 Genie 2 在行動控制、生成反設事實、長視界記憶、長視頻生成、多樣環境、3D 結構、物體交互、複雜角色動畫、NPC、物理、煙霧、光影、快速原型設計方面的效果與優勢。蒸餾版本支持實時交互，但運行時的視覺質量會降低些。
輸入真實世界的照片後，它也能很好模拟一些物理規律，比如可模拟風中搖曳的草或河中流動的水。
一、超強空間記憶能力，模拟真實世界環境
此前世界模型在很大程度上局限于建模狹窄的領域。Genie 1 引入了一種生成各種 2D 世界的方法。Genie 2 則進一步在通用性上取得進展，可以生成種類繁多的豐富 3D 世界。
以下是與 Genie 2 互動的一些示例視頻。模型會使用文生圖模型 Imagen 3 生成的單個圖像，按照提示詞生成一個可交互的 3D 世界。人或 agent 進行鍵鼠操作，進入這個新創建的世界并與之互動。Genie 2 可以生成長達 1 分鍾的一緻世界，大多數示例持續 10-20 秒（本文将部分視頻示例轉成 gif 動圖并隻截取片段，完整視頻請到原博客文章查看）。
1、智能響應鍵盤按鍵操作
Genie 2 可以智能地響應鍵盤上的按鍵操作，正确地識别并移動角色。比如下圖中的幾個示例，模型必須能弄清楚方向按鍵對應要移動的是機器人，而不是畫面中的樹、雲等其他物體。
樹林裏的一個可愛的人形機器人。
古埃及的人形機器人。
紫色星球上的機器人的第一視角。
大城市閣樓公寓中的機器人的第一視角。
2、生成反設事實
Genie 2 可以從同一起始幀生成不同的軌迹，爲訓練 agent 模拟不同事實的體驗。在每一行中，每個視頻都從同一幀開始，但人類玩家采取的動作不同，生成的畫面内容也響應不同。
3、長視界記憶
Genie 2 能夠記住視野中不再存在的世界部分，并在它們再次可見時準确呈現。
4、使用新生成的内容生成長視頻
Genie 2 可動态生成新的合理内容，并在長達 1 分鍾的時間内維持一緻的世界。
5、多樣化環境
Genie 2 可創建不同的視角，例如第一視角、等距視圖或第三視角駕駛視頻。
6、3D 結構
Genie 2 會創建複雜的 3D 視覺場景。
7、模拟對象相互作用
Genie 2 能模拟各種物體的相互作用，例如爆破氣球、打開門和射擊炸藥桶。
8、角色動畫
Genie 2 學習了如何爲不同類型的角色制作動畫來執行不同的活動。
9、NPC
Genie 2 能夠模拟其他 agent，甚至與它們進行複雜的交互。
10、物理
Genie 2 模拟水效果。
11、煙霧
Genie 2 模拟煙霧效果。
12、重力
Genie 2 模拟重力。
13、燈光
Genie 2 模拟光點和定向照明。
14、反射
Genie 2 模拟反射、噴霧減光和彩色燈光。
二、理解物理世界差異，可将概念圖轉化成交互式環境
Genie 2 模型可快速創建各種交互體驗的原型。例如用 Imagen 3 生成不同圖像，讓 Genie 2 生成模拟紙飛機、龍、鷹、降落傘飛行的視頻。可以看到 Genie 2 生成的視頻能夠理解并模拟出它們飛行的差異。
概念藝術和繪圖也可以被 Genie 2 轉化成完全交互式環境，以便藝術家、設計師能快速制作研究環境概念的原型。
三、AI agent 也能玩，爲具身智能提供絕佳訓練場
Genie 2 可快速爲 AI agent 創建豐富多樣的環境，從而生成 agent 在訓練期間未見過的評估任務。
例如，Google DeepMind 與遊戲開發商合作開發了 SIMA agent。SIMA agent 被設計成通過遵循自然語言指令來完成一系列 3D 遊戲世界中的任務，因此可以在 Genie 2 合成的、未見過的環境執行指令。
輸入下面 Imagen 3 生成的第三開放世界探索遊戲圖，Genie 2 可生成一個帶有兩扇門（一扇是紅門，一扇是藍門）的 3D 環境。
然後向 SIMA agent 提出打開某扇門的指令，Genie 2 則能生成符合要求的畫面。
在這個示例中，SIMA 通過鍵盤和鼠标輸入控制角色，而 Genie 2 生成遊戲幀。
也可以使用 SIMA 來幫助評估 Genie 2 的功能。通過指示 SIMA 環顧四周、探索房屋後面等，測試 Genie 2 生成一緻環境的能力。
再比如根據下面這張圖來生成視頻。
輸入不同提示詞 " 上樓 "、" 去有植物的地方 "、" 走中間門 "，Genie 2 會生成對應的不同視頻畫面。
雖然這項研究仍處于早期階段，agent 和環境生成能力都還有很大的改進空間，但 Google DeepMind 相信 Genie 2 是解決安全訓練具體 agent 的結構性問題的途徑，同時實現邁向 AGI 所需的廣度和通用性。
結語：世界模型，AI 領域的下一件大事
遊戲是安全測試和推進 AI 能力的理想環境。訓練更通用具身 agent 的傳統瓶頸在于缺乏足夠豐富和多樣化的訓練環境。
Google DeepMind 正将越來越多資源投入于世界模型研究。Genie 2 展示了基礎世界模型在創建多樣化 3D 環境、定制交互式遊戲場景、加速 agent 研究等方面的潛力，可讓未來的 Agent 在無限的新世界中接受訓練和評估。
該研究方向尚處于早期階段，Google DeepMind 計劃在通用性和一緻性方面繼續改進 Genie 的世界生成能力。
與 SIMA 一樣，其研究緻力于構建更通用的 AI 系統和 agent，使其能夠理解和安全地執行各種任務，從而幫助在線和現實世界中的人們。
Google DeepMind 還放了一些有趣的 " 彩蛋 "：Genie 2 生成出一些奇怪視頻，比如沒有采取行動的情況下一個鬼魂出現在花園，在雪場的人物角色相比滑雪更愛跑酷、一個魔法球把周遭炸成灰。
來源：Google DeepMind
