大模型的具身智能決策能力，終于有系統的通用評估基準了。
李飛飛吳佳俊團隊新提出的評估框架，對具身智能決策的四項關鍵子能力來了個全面檢查。
這套基準已經被選爲了 NeurIPS 數據和測試集（D&B）專欄 Oral 論文，同時也被收錄進了 PyPI，隻要一行代碼就能快速調用。
該框架名爲Embodied Agent Interface（簡稱 EAI），提供了連接不同模塊和基準環境的标準接口。
利用這套框架，作者對 18 款主流模型進行了測試，形成了一篇超百頁的論文。
測試結果顯示，在已公開的大模型當中，o1-preview 的綜合成績位列第一。
李飛飛本人表示，對這項合作研究感到非常興奮。
有網友評價說，這項成果爲大模型具身智能決策塑造了未來。
四項子能力全面評估
首先，EAI 提供了一種統一的目标表示方法，能夠兼容不同類型的目标，并支持複雜約束的描述。
團隊認爲，現有的具身決策任務通常針對特定領域設計目标，缺乏一緻性和通用性。
例如，BEHAVIOR 和 VirtualHome 都是具身智能體的評測基準和模拟環境，用于研究智能體在複雜環境中完成任務的能力。
但二者又有所區别，BEHAVIOR 使用基于狀态的目标，而 VirtualHome 使用時間擴展的目标。
EAI 則通過引入線性時态邏輯（LTL），實現了目标表示方式的統一，提高了模塊之間的互操作性，便于比較不同模型在同一任務上的表現。
在具體的評估過程當中，EAI 采用了模塊化的評估方式，并将評估指标進行了更細粒度的劃分。
以往的研究通常将大模型作爲整體進行評估，很少關注其在具身決策各個子任務上的表現；
同時，這些現有基準通常隻關注任務的最終成功率，很少深入分析模型的錯誤類型和原因。
爲了更深入理解大模型的行爲模式和優劣勢分布，EAI 提出了四個關鍵能力模塊，并設計了一系列細粒度的評估指标：
将模型能力分爲四個關鍵模塊；
定義了清晰的輸入輸出接口；
從軌迹可執行性、目标滿足度、邏輯匹配性等多個角度評估模型的性能；
引入了豐富的注釋（如目标狀态、關系、動作），以實現自動化的錯誤分析。
具體來說，四個關鍵模塊及内容分别是：
目标解釋（Goal Interpretation）：将自然語言表述的任務目标轉化爲形式化的 LTL 目标公式；
子目标分解（Subgoal Decomposition）：将任務目标分解爲一系列子目标，每個子目标也用 LTL 公式表示；
動作序列規劃（Action Sequencing）：根據任務目标生成動作序列，在環境中執行以達成目标狀态；
轉換建模（Transition Modeling）：爲每個動作或操作符生成前提條件和效果，形成環境轉換模型。
另外，EAI 選取了兩個具有代表性但特點迥異的環境，也就是前面提到的 BEHAVIOR 和 VirtualHome。
相比于單一環境評估，EAI更能考察大模型跨領域的泛化能力，有助于全面理解其适用範圍和局限性。
o1-preview 綜合成績第一
利用 EAI 這套标準，研究團隊對 GPT、Claude、Gemini 等 18 款主流模型（型号）的決策能力進行了評估。
在 BEHAVIOR 和 VirtualHome 環境下，o1-preview 均獲得了排行榜綜合成績第一名。
其中在 BEHAVIOR 環境中，o1-preview 得分爲 74.9，比第二名的 Claude 3.5 Sonnet 高了 10 多分，排在之後的是 60 分左右的 Claude 3 Opus 和 GPT-4o。
到了 VirtualHome 環境下，依然是 o1-preview 領先，但前三名的成績相對接近。
同時 Gemini 1.5 Pro 變成了第二名，不過整體來看排行靠前的幾個模型和 BEHAVIOR 環境類似。
當然如果比較單項能力，不同模型也體現出了各自不同的優勢項目。
比如在 BEHAVIOR 環境中，總分排第二的 Claude 3.5 Sonnet，目标解釋能力略高于總分排第一的 o1-preview。
在 VirtualHome 環境中，總分相對靠後的 Mistral Large，在動作序列規劃上取得了第一名。
作者還對各模型的失敗情況進行了深入分析，發現了将中間狀态誤識别爲最終目标狀态、對隐含的物理關系理解不足、忽略重要的前提條件等具體問題。
這些發現能夠讓研究人員對模型的優缺陷進行更深層的了解，爲之後的研究提供了重要參考。
項目主頁：
https://embodied-agent-interface.github.io/
論文：
https://arxiv.org/abs/2410.07166
代碼：
https://github.com/embodied-agent-interface/embodied-agent-interface
數據集：
https://huggingface.co/datasets/Inevitablevalor/EmbodiedAgentInterface
