萬萬沒想到，與任務無直接關聯的多模态數據也能提升 Transformer 模型性能。
比如訓練一個圖像分類模型，除了标注好類别的圖像數據集，增加視頻、音頻、點雲等模态數據，也能顯著提升模型在圖像分類上的性能。
這樣一來，在 AI 訓練階段就可以減少與特定任務直接相關的标注數據需求，可以節省大量成本，或在數據有限的任務上提供新解決思路。
這個神奇的發現來自港中文 MMLab 和騰訊 AI Lab的合作研究，相關論文已被 CVPR 2024 接收，引起廣泛關注。
從無關數據中學習有用知識
具體來說，團隊提出了一種稱爲多模态通路（Multimodal Pathway）的新框架。
該框架允許 Transformer 模型在處理特定模态的數據時，同時利用其他模态中的無關數據進行訓練，從而在不增加額外推理成本的前提下顯著提升模型性能。
多模态通路的核心技術是跨模态重參數化 （Cross-Modal Re-parameterization）*。
這一技術的創新之處在于，它通過結構上的智能重組，使得模型能夠在保持原有計算成本的同時，增加從其他模态學習的能力。
對于已經被廣泛運用到多模态特征提取的 Vision Transformer，團隊關心的是這些神經網絡中的主要線性層。
具體來說，這一技術在模型的每一個線性層中引入了輔助模态的權重，這些權重通過可學習的參數進行調節，從而在不增加推理時間的情況下，實現模态間的知識遷移。
如圖所示，比如有不同模态的兩個線性層FC 和 FC ’， 那麽跨模态結構重參數化就是要通過構建一個運算完全等價的線性層來承載兩個模态的運算，在這裏直接将來自不同模态的兩部分權重 （W 和 W ’）做線性組合（W+ λ W ’）來平衡兩個模态的權重對于目标模态的貢獻。
實驗結果：跨模态增益挖掘 Transformer 潛力
在論文中，研究團隊詳細介紹了他們的實驗設計和結果。
在圖像識别、點雲處理、視頻理解和音頻分析等多個任務上應用了多模态通路技術，觀察到多模态通路能夠在 12 種不同的模态相互幫助的關系中實現一緻的性能提升。
例如，在 ImageNet 圖像識别任務中，結合了點雲數據的多模态通路 Transformer 模型，比傳統的 Transformer 模型在識别準确率上提高了 0.7%。
與 MAE 預訓練方法的各種改進相比，該方法無需高昂的計算成本來預訓練 1600 Epoch，而是直接在下遊任務中微調，就能顯著地提升模型性能。這充分展示了多模态學習在處理大規模複雜數據集時的強大潛力。
研究人員還發現，跨模态知識遷移的效果不僅與模型參數規模有關，還可能與層次表示（Hierarchical Representation）能力密切相關。也就是越擅長學習層次化的抽象表示的模型，遷移效果就越好。
更值得注意的是，該方法有效地證明了即使毫不相關的多模态數據之間，仍能存在着明顯的多模态增益效果，這充分說明我們現在對多模态學習的理解與認知還有很大的提升空間。
總的來說，這項研究不僅能夠啓發多模态學習在學術領域的發展，也爲工業界提供了新的思路。通過利用現有的海量數據資源，即使這些數據與當前任務不直接相關，也能夠爲 AI 模型的訓練帶來積極的影響。
這種方法爲數據資源有限或難以标注的領域提供了新的解決方案，特别是在自動駕駛、醫療影像分析、自然語言處理等技術要求極高的領域，多模态通路技術的應用前景廣闊。
此外，這一研究還揭示了 AI 跨模态學習的新機制，推動了學界對于不同數據模态間交互和協同處理的深入理解。研究團隊表示，未來他們将探索将多模态通路技術應用于卷積神經網絡（CNN）和其他跨架構的 AI 系統，以進一步挖掘這一技術的潛力。
論文地址：https://arxiv.org/abs/2401.14405
項目網頁：https://ailab-cvc.github.io/M2PT/
開源代碼：https://github.com/AILab-CVC/M2PT
講解視頻：https://www.bilibili.com/video/BV1Sm41127eW/
— 完 —
投稿請發郵件到：
标題注明【投稿】，告訴我們：
你是誰，從哪來，投稿内容
附上論文 / 項目主頁鏈接，以及聯系方式哦
我們會（盡量）及時回複你
點這裏關注我，記得标星哦～
一鍵三連「分享」、「點贊」和「在看」
科技前沿進展日日相見 ~
