AI 能理解搞笑視頻笑點在哪裏了。
AI 回答：這個視頻之所以搞笑，在于一個小寶寶正坐在床上努力讀書，但他顯然還不會真正讀書。他隻是不停地指着書頁上的各處，而攝影者則在背後笑他。小寶寶的這種嘗試很有趣，因爲他在嘗試閱讀一本對他而言過大的書，也看不懂裏面的文字。
北大等團隊開源視覺語言大模型Video-LLaVA，将圖像和視頻表示對齊到統一的視覺特征空間，在 13 個圖片和視頻基準上達到先進的性能。
值得注意的是，Video-LLaVA 在訓練過程中沒有使用成對的視頻和圖片數據，但在訓練後，LLM 令人驚訝地展現出同時理解圖片和視頻的能力。
如下圖所示，Video-LLaVA 成功地識别出自由女神像的圖片是近景且細膩的，而視頻描述了自由女神像的多個角度，表明它們來自同一個地方。
這項工作具體貢獻如下：
Video-LLaVA 解決了在視覺 - 語言理解中同時處理圖像和視頻的挑戰。它将視覺表示統一到語言特征空間中，使得大型語言模型能夠同時對圖像和視頻進行視覺推理能力。
Video-LLaVA 通過最初将圖像和視頻的表示對齊到一個統一的視覺特征空間中，将視覺表示統一到語言特征空間中。這是通過使用 LanguageBind 編碼器來實現的，該編碼器将不同的模态映射到文本特征空間中，提供了一個統一的視覺表示。然後，統一的視覺表示經過共享的投影層和詞嵌入層進行編碼，以将統一的視覺表示映射給大型語言模型使用。
Video-LLaVA 在視頻上表現出色，在 MSVD、MSRVTT、TGIF 和 ActivityNet 視頻問答數據集上分别超過了 Video-ChatGPT 的 5.8%、9.9%、18.6% 和 10.1%。
對于模型能力，研究團隊做了充分實驗。
視頻理解能力實驗。
如表 3 所示，Video-LLaVA 在 4 個視頻問答數據集上全面超過了 Video-ChatGPT，并且漲幅相當可觀。
圖片理解能力實驗。
該研究還與 InstructBLIP，Otter，mPLUG-owl 等圖片語言大模型在圖片語言理解任務上進行了比較，結果如表 2 所示：
爲了評估預先對齊視覺輸入的效果，研究團隊進行了大量的對比實驗。
他們使用了相同規模的 MAE 編碼器替換了圖片編碼器，其中 MAE 編碼器生成分離的視覺表示，而 LanguageBind 編碼器生成統一的視覺表示（因爲預先對齊了視覺表征）。
然後，他們在 13 個基準測試中比較了 MAE 編碼器和 LanguageBind 編碼器的性能，包括 9 個圖片理解基準和 4 個視頻理解基準。
通過替換圖片編碼器爲 MAE 編碼器，LLM 在初始學習視覺表示時将視頻特征和圖片特征分開處理，不再将它們統一起來。
有關圖 6 的實驗結果顯示，與分離的視覺表示相比，聯合的視覺表示在 4 個視頻問答數據集上顯著提升了性能。
這一發現表明，預先對齊的視覺表征有助于 LLM 進一步學習和理解視頻内容。它提供了更好的能力，使得模型能夠更有效地處理視頻問答任務并展現出更好的性能表現。
同時論文還驗證了無論是對于圖片還是視頻，在聯合訓練中他們能相互受益。
通過聯合訓練視頻數據，對于圖片理解任務，可以緩解幻覺問題。類似的趨勢也在 LLaVA-Bench 基準測試上觀察到。
在視頻理解方面，聯合訓練的也得到了明顯的提升。
參考資料：
[ 1 ] https://arxiv.org/abs/2311.10122
[ 2 ] https://github.com/PKU-YuanGroup/Video-LLaVA
