遊戲bug幫大模型學物理！準确率超GPT4o近4個百分點

融合物理知識的大型視頻語言模型PhysVLM，開源了！

它不僅在 PhysGame 基準上展現出最先進的性能，還在通用視頻理解基準上（Video-MME, VCG）表現出領先的性能。

在這項研究之前，想讓 AI 像人類兒童一樣，通過觀察世界理解基本的物理常識，是一個主要挑戰。

對于現實世界的視頻來說，全面覆蓋和解釋所有正常的物理現象既困難又不必要。

相比之下，遊戲視頻（gameplay videos）通常包含違反物理常識的 " 故障現象 "（glitches），這有助于簡化物理常識理解的定義和評估，即專注于解釋物理常識的違反現象，而不是試圖列舉所有存在的正常物理現象。

爲此，PhysVLM 在專門整理的一套數據集上訓練，包括用于評估的 PhysGame benchmark、用于監督微調的 PhysInstruct 數據集和用于偏好對齊的 PhysDPO 數據集。

PhysGame benchmark 設計

如圖所示， PhysGame包含 880 個含有故障現象的遊戲視頻，每個視頻都配有一個高質量的多項選擇題，專門針對故障現象的性質進行标注。

△PhysGame 類别分布

PhysGame 涵蓋了四個關鍵的物理領域（即力學、運動學、光學和材料屬性），并細分爲 12 個具體類别（如重力和速度）。

力學（Mechanics）：該類别涉及力與力矩及其對運動的影響，提供了解釋和分析視頻中物體運動的基礎原理。典型案例包括重力、彈性和摩擦力。

運動學（Kinematics）：該領域研究不考慮力的情況下的運動，涉及精細分類，如随時間變化的速度和加速度。

光學（Optics）：該領域關注光的行爲與特性及其與物質的相互作用，包括反射、折射以及吸收與透射。

材料屬性（Material properties）：該領域指的是物質固有的特性，包括顔色、剛性、物體形狀以及人體姿态。

PhysGame benchmark 構建

視頻收集和過濾 :

PhysGame 中的視頻主要從 Reddit 頁面抓取，該頁面包含帶有異常事件和故障現象的遊戲視頻。爲了平衡不同的類别，團隊還通過關鍵詞搜索從 YouTube 增強視頻數據。團隊根據以下兩項标準進行人工篩查：

選項生成 :

本文以多項選擇題的形式創建問答對。具體來說，正确選項描述了視頻中違反物理常識原則的特定故障現象。爲了增強幹擾選項的可信度，本文要求幹擾選項中的故障現象應與視頻中觀察到的個體或動作高度相關，這使視頻 LLM 理解故障内容，而不僅僅通過識别包含的物體或動作來選擇答案。

質量控制 :

爲了保證數據集的質量，本文進行了一項包括人工檢查和自動 LLM 輔助檢查在内的雙重質量控制過程：

人工檢查：所有初步标注的問答對都經過不同人工标注人員的嚴格交叉檢查。對于正确選項，檢查人員必須評估它們是否全面準确地描述了所有存在的物理常識違反實例。對于幹擾選項，檢查人員需評估它們是否足夠具有迷惑性；

LLM 輔助檢查 : 團隊去除那些僅憑問題和選項，不需要查看視頻就能由 GPT-4o 正确回答的問答對。

△PhysGame 示例 PhysInstruct&PhysDPO 數據集構建

PhysInstruct:

爲了提升視頻 LLM 的物理常識理解能力，團隊開發了 PhysInstruct 數據集用于監督微調。視頻收集過程與 PhysGame 中的流程相同。爲了防止數據洩漏，團隊嚴格排除任何已包含在 PhysGame 中的視頻。團隊遵循 Self-instruct 範式通過提示 GPT-4o 來構建 PhysInstruct。

PhysDPO:

團隊構建了偏好對齊數據集 PhysDPO，以提供更可信和可靠的回答。如圖 3 所示，團隊将 PhysInstruct 數據集中生成的答案視爲 preferred 回答，而 dis-preferred 回答則通過元信息篡改（meta-information hacking）、時間篡改（temporal hacking）和空間篡改（spatial hacking）生成。團隊用誤導性的元信息以及減少幀數和降低幀分辨率的視頻幀來提示 GPT-4o。

以下是 PhysDPO 數據集構建流程圖：

模型評估與分析

PhysGame benchmark 實驗結果 :

在所有專有模型中，GPT-4o 和 Gemini-1.5-pro 表現最佳，分别達到了 56.1% 和 55.2% 的平均準确率。在所有細分領域中，GPT-4o 在摩擦和加速度方面表現優越。相比之下，Gemini-1.5-pro 在理解與重力、彈性、反射、吸收與透射、顔色和剛性相關的物理常識方面表現更強。

現有的開源模型遠遠落後于專有模型。即便是表現最好的開源模型 LLaVA-OneVision，其平均準确率僅爲 47.7%。相比之下，本文提出的 PhysVLM 在所有專有和開源模型中都達到了最先進的性能。與開源方法相比，本文的 PhysVLM 在 12 個評估領域中的 6 個領域達到了最高性能。值得注意的是，PhysVLM-DPO 在平均準确率這一指标上比最佳表現的專有模型 GPT-4o 超出了 3.4%。

△PhysGame benchmark 實驗結果

Video-MME benchmark 實驗結果 :

本文的 PhysVLM 模型在所有 7B 模型中表現優越。令人驚訝的是，作爲 7B 模型，PhysVLM-SFT 和 PhysVLM-DPO 在整體表現上分别比 34B 模型 LLaVA-NeXT-Video 提高了 3.2% 和 3.8% 的絕對值。通過比較 PhysVLM-SFT 和 PhysVLM-DPO，團隊發現，使用所提出的 PhysDPO 數據進行 DPO 訓練在短視頻和長視頻上的表現都有所提升，而在中等長度的視頻上的表現略有下降。

△Video-MME benchmark 實驗結果

VCG benchmark 實驗結果 :

在僅使用 SFT 的模型中，本文的 PhysVLM-SFT 在平均得分方面表現最佳。在四個子類别的評估中，PhysVLM-SFT 在信息正确性和一緻性類别上表現尤爲出色。與使用 DPO 或 PPO 訓練的 PPLLaVA 和 LLaVA-Next-Video 相比，本文的 PhysVLM-DPO 也展現出卓越的性能，進一步驗證了所提出的 PhysVLM 模型在通用視頻理解中的出色能力。