AI 視頻生成這就過時了嗎？
剛剛，最先進的生成式物理引擎 Genesis發布，一句話就可以生成完整精确的模拟物理世界。
一滴水滴落到一個啤酒瓶上，然後沿着瓶子表面慢慢滑落
生成結果可不僅是一個視頻，其中還包含物體運動的各種參數。
接下來可以分爲三個視角，同時追蹤模拟水滴的運動……
對于人物動作，也可以遵循提示詞精确模拟。
一個手裏拿着棍子的微型悟空在桌子表面沖刺 3 秒鍾，然後跳到空中，并在着陸時向下擺動右臂。
攝像機從他的面部特寫開始，然後穩步跟随角色，同時逐漸縮小。
當猴子跳到空中時，在跳躍的最高點，動作會暫停幾秒鍾……攝像機圍繞角色旋轉 360 度，然後緩慢上升，然後動作繼續。
這是一項涉及 20 多個組織，爲期 24 個月的大規模合作研究：
學術界，有清華、北大、港大、CMU、馬裏蘭、哥倫比亞、斯坦福、MIT ……說是學術圈半壁江山都參與了也不爲過。
産業界，也有英偉達、太極圖形，以及 MIT-IBM Watson AI Lab 這樣的聯合實驗室助陣。
OpenAI 在 2 月初次演示 Sora 時，曾稱它是 " 世界的模拟器 "。
相比之下，Genesis 不僅物理模拟更精确，還同時有更多能力：
它是一個從頭開始重建的通用物理引擎，能夠模拟各種材料和物理現象。
它是一個輕量級、超快速、Python 化和用戶友好的機器人仿真平台。
它是一個強大而快速的照片級寫實渲染系統。
它是一個生成式數據引擎，可将用戶提示的自然語言描述轉換爲各種數據模式。
一句話總結：Genesis 是一個全面的物理模拟平台，專爲通用機器人、具身 AI 和物理 AI 應用而設計。
共同一作、CMU 博士生周銜詳細介紹了 Genesis 的各種能力，迅速引起業界轟動。
其中大家格外關注的一點是生成速度。
它提供的模拟速度比現實世界快約 430000 倍，并且隻需26 秒即可在單個 RTX4090 上訓練能轉移到真實機器人的運動策略。
據周銜介紹，Genesis 的物理引擎用純 Python 代碼開發，同時比現有的 GPU 加速堆棧（如英偉達 Isaac Gym 和開源的 MJX）快 10-80 倍。
同時，速度的提高不會影響仿真精度。
目前，團隊正在開源底層物理引擎和模拟平台，對生成式框架的訪問将在不久的将來逐步推出。
不得不說，從一句話生成視頻到一句話生成物理世界，2024 年的進展實在是太快了。
生成 4D 物理世界
Genesis 由從頭開始的通用物理引擎提供支持，将各種物理求解器及其耦合集成到統一的框架中。該核心物理引擎通過上層運行的生成 Agent 框架進一步增強，旨在爲機器人及其他領域實現完全自動化的數據生成，包括以下模态：
物理準确且空間一緻的視頻
攝像機運動和參數
人類和動物角色的動作
機器人操作和運動策略，可部署到現實世界
完全交互式 3D 場景
開放世界鉸接式物體生成
語音音頻、面部動作和表情
角色運動
關于角色運動，除了開頭展示的猴子，作者還一口氣放出了三個不同風格角色的運動場景。
一位日本武士正在表演拳擊。
一名羅馬士兵像僵屍一樣向前走。
一名中國風的戰士表演江南 Style 舞蹈。
機器人策略
除了角色的運動，Genesis 還可以自主提出機器人任務、設計環境、編寫獎勵函數，并最終自動生成機器人策略。
移動式 franka 機械臂将地闆上的所有物品都扔進籃子裏。
同時支持 Sim2Real，把在模拟環境訓練好的策略轉移到真實硬件機器人中。
一個宇樹 H1-2 人形機器人向前走。
四足機器狗雙重後空翻
很可惜還有一個人形機器人單腳跳躍隻有模拟演示，因爲團隊的機器人壞掉了……
宇樹 H1 人形機器人執行單腳跳躍。
另外除了機器人，無人機編隊也可以模拟，并呈現出正确的數量關系。
由 24（4x6）架無人機組成的機隊一起從地面起飛并一起進行翻轉。
3D & 全互動場景生成
一個帶有客廳（包括用餐空間）、洗手間、書房和卧室的家居室内場景。
互動實體俄羅斯方塊遊戲。
開放世界鉸接式物體
生成開放世界鉸接式物體的 mesh 資産，質量超越了人工注釋，更多詳細信息将随之後的論文一起公開。
軟體機器人
不隻是各種剛性物體，Genesis 針對軟性的機器人也能夠實現逼真的模拟。
蠕蟲。
柔軟的抓手操縱盒子并拿起筆帽。
面部動畫和語音
Genesis 還能夠處理面部動作和表情的生成：
同時還能向其中添加語音，并在面部表情不斷變化的同時，保持口型與說話内容的匹配：
文本 "Genesis 是一個爲通用機器人 / 嵌入式人工智能 / 物理人工智能應用而設計的物理平台。" 對應的面部運動和語音，表情從中性過渡到憤怒，再到開心。
代碼已開源，pip install
目前 Genesis 代碼已開源，可以直接pip install genesis-world安裝。
開源代碼發布僅幾個小時，也迅速在 GitHub 上攬獲 1.6k star。
當前版本具體特性如下
可在不同的系統（Linux、MacOS、Windows）和不同的計算後端（CPU、Nvidia GPU、AMD GPU、Apple Metal）上原生運行。
統一的仿真框架中集成了各種物理求解器：剛體、MPM、SPH、FEM、PBD、穩定流體。
支持剛性和鉸接體、各種類型的液體、氣體現象、可變形對象、薄殼對象和顆粒材料的仿真（和耦合）
支持多種機器人：機械臂、腿式機器人、無人機、軟體機器人等，并廣泛支持加載不同的文件類型：MJCF （.xml）、URDF、.obj、.glb、.ply、.stl 等
支持基于原生光線追蹤的渲染
Genesis 旨在與可微仿真完全兼容。目前，MPM 求解器和 Tool 求解器是可微的，并且很快将添加其他求解器的可微性（從剛體仿真開始）
Genesis 包含一個基于物理且可微分的觸覺傳感器仿真模塊，将很快集成到公開版本中（預計在 0.2.0 版本）
另外 GitHub 項目頁面介紹，Genesis 的目标是構建一個完全透明、用戶友好的生态系統，來自機器人和計算機圖形學的貢獻者可以聚集在一起，共同創建一個高效、逼真（物理和視覺）的虛拟世界，用于機器人研究及其他領域。
此外，Genesis 相關論文已進入提交階段，将于稍後公開。
目前更多細節可參考官方文檔。
GitHub：
https://github.com/Genesis-Embodied-AI/Genesis
項目主頁：
https://genesis-embodied-ai.github.io
文檔：
https://genesis-world.readthedocs.io
參考鏈接：
[ 1 ] https://x.com/zhou_xian_/status/1869511650782658846
— 完 —
點這裏關注我，記得标星哦～
一鍵三連「分享」、「點贊」和「在看」
科技前沿進展日日相見 ~
>
