多模态檢索增強生成（mRAG）也有 o1 思考推理那味兒了！
阿裏通義實驗室新研究推出自适應規劃的多模态檢索智能體。
名叫OmniSearch，它能模拟人類解決問題的思維方式，将複雜問題逐步拆解進行智能檢索規劃。
直接看效果：
随便上傳一張圖，詢問任何問題，OmniSearch 都會進行一段 " 思考過程 "，不僅會将複雜問題拆解檢索，而且會根據當前檢索結果和問題情境動态調整下一步檢索策略。
相比傳統 mRAG 受制于其靜态的檢索策略，這種設計不僅提高了檢索效率，也顯著增強了模型生成内容的準确性。
爲評估 OmniSearch，研究團隊構建了全新Dyn-VQA 數據集。
在一系列基準數據集上的實驗中，OmniSearch 展現了顯著的性能優勢。特别是在處理需要多步推理、多模态知識和快速變化答案的問題時，OmniSearch 相較于現有的 mRAG 方法表現更爲優異。
目前 OmniSearch 在魔搭社區還有 demo 可玩。
動态檢索規劃框架，打破傳統 mRAG 局限
傳統 mRAG 方法遵循固定的檢索流程，典型的步驟如下：
輸入轉化：接收多模态輸入（例如圖像 + 文本問題），将圖像轉化爲描述性文本（例如通過 image caption 模型）。
單一模态檢索：将問題或描述性文本作爲檢索查詢，向知識庫發送單一模态檢索請求（通常是文本檢索）。
固定生成流程：将檢索到的信息與原始問題結合，交由 MLLM 生成答案。
OmniSearch 旨在解決傳統 mRAG 方法的以下痛點：
靜态檢索策略的局限：傳統方法采用固定的兩步檢索流程，無法根據問題和檢索内容動态調整檢索路徑，導緻信息獲取效率低下。
檢索查詢過載：單一檢索查詢往往包含了多個查詢意圖，反而會引入大量無關信息，幹擾模型的推理過程。
爲克服上述局限，OmniSearch 引入了一種動态檢索規劃框架。
OmniSearch 的核心架構包括：
規劃智能體（Planning Agent）：負責對原始問題進行逐步拆解，根據每個檢索步驟的反饋決定下一步的子問題及檢索策略。
檢索器（Retriever）：執行實際的檢索任務，支持圖像檢索、文本檢索以及跨模态檢索。
子問題求解器（Sub-question Solver）：對檢索到的信息進行總結和解答，具備高度的可擴展性，可以與不同大小的多模态大語言模型集成。
叠代推理與檢索（Iterative Reasoning and Retrieval）：通過遞歸式的檢索與推理流程，逐步接近問題的最終答案。
多模态特征的交互：有效處理文本、圖像等多模态信息，靈活調整檢索策略。
反饋循環機制（Feedback Loop）：在每一步檢索和推理後，反思當前的檢索結果并決定下一步行動，以提高檢索的精确度和有效性。
構建新數據集進行實驗評估
爲了更好地評估 OmniSearch 和其它 mRAG 方法的性能，研究團隊構建了全新的 Dyn-VQA 數據集。Dyn-VQA 包含 1452 個動态問題，涵蓋了以下三種類型：
答案快速變化的問題：這類問題的背景知識不斷更新，需要模型具備動态的再檢索能力。例如，詢問某位明星的最新電影票房，答案會随着時間的推移而發生變化。
多模态知識需求的問題：問題需要同時從多模态信息（如圖像、文本等）中獲取知識。例如，識别一張圖片中的球員，并回答他的球隊圖标是什麽。
多跳問題：問題需要多個推理步驟，要求模型在檢索後進行多步推理。
這些類型的問題相比傳統的 VQA 數據集需要更複雜的檢索流程，更考驗多模态檢索方法對複雜檢索的規劃能力。
在 Dyn-VQA 數據集上的表現
答案更新頻率：對于答案快速變化的問題，OmniSearch 的表現顯著優于 GPT-4V 結合啓發式 mRAG 方法，準确率提升了近 88%。
多模态知識需求：OmniSearch 能夠有效地結合圖像和文本進行檢索，其在需要額外視覺知識的複雜問題上的表現遠超現有模型，準确率提高了 35% 以上。
多跳推理問題：OmniSearch 通過多次檢索和動态規劃，能夠精确解決需要多步推理的問題，實驗結果表明其在這類問題上的表現優于當前最先進的多模态模型，準确率提升了約 35%。
在其它數據集上的表現
接近人類級别表現：
OmniSearch 在大多數 VQA 任務上達到了接近人類水平的表現。例如，在 VQAv2 和 A-OKVQA 數據集中，OmniSearch 的準确率分别達到了 70.34 和 84.12，顯著超越了傳統 mRAG 方法。
複雜問題處理能力：
在更具挑戰性的 Dyn-VQA 數據集上，OmniSearch 通過多步檢索策略顯著提升了模型的表現，達到了 50.03 的 F1-Recall 評分，相比基于 GPT-4V 的傳統兩步檢索方法提升了近 14 分。
模塊化能力與可擴展性
OmniSearch 可以靈活集成不同規模和類型的多模态大語言模型（MLLM）作爲子問題求解器。
無論是開源模型（如 Qwen-VL-Chat）還是閉源模型（如 GPT-4V），OmniSearch 都能通過動态規劃與這些模型協作完成複雜問題的解決。
它的模塊化設計允許根據任務需求選擇最合适的模型，甚至在不同階段調用不同大小的 MLLM，以在性能和計算成本之間實現靈活平衡。
下面是 OmniSearch 和不同模型配合的實驗結果：
Paper：https://arxiv.org/abs/2411.02937
Github：https://github.com/Alibaba-NLP/OmniSearch
ModelScope Demo: https://modelscope.cn/studios/iic/OmniSearch/summary?header=default&fullWidth=false
— 完 —
投稿請發郵件到：
标題注明【投稿】，告訴我們：
你是誰，從哪來，投稿内容
附上論文 / 項目主頁鏈接，以及聯系方式哦
我們會（盡量）及時回複你
點這裏關注我，記得标星哦～
一鍵三連「分享」、「點贊」和「在看」
科技前沿進展日日相見 ~
>
