NeurIPS 2024 以 "組合學習:觀點、方法、及展望" 爲主題的 Workshop 開啓征稿啦~
組合學習受到人類天生能夠從簡單概念理解和生成複雜思想能力的啓發,旨在賦予機器類似的理解、推理和學習能力。
通過重新組合已學到的組件,組合學習天然具備提升機器對真實動态環境中分布外樣本的泛化能力。
該優點亦促成了面向對象的學習(object-centric learning)、組合泛化(compositional generalization)、和組合推理(compositional reasoning)等領域的活躍研究,并在包括機器翻譯、跨語言遷移、語義解析、可控文本生成、事實知識推理、圖像字幕生成、文本到圖像生成、視覺推理、語音處理、強化學習等衆多任務中得到了廣泛應用。
盡管在這些領域已取得可觀進展,但包括大模型(LLMs)在内的現有模型的組合泛化和推理能力在真實動态環境中仍面臨嚴峻挑戰。
在組合學習面臨的諸多挑戰和全新機遇中,來自南洋理工大學、哈佛大學、麻省理工學院、Mila-Quebec 人工智能研究所 &HEC Montreal、紐約大學、圖賓根大學的學者聯合組織了本次研讨會。
本次研讨會将基于該領域的最新進展,重點關注以下四個議題:
(觀點) 在什麽情形下,以及爲什麽,基礎模型在組合泛化或推理中應該具備優異性能?
這個問題對于評估基礎模型的内在能力和理解其學習動态至關重要。我們的目标是彙集來自各領域的研究者,從實驗和理論的角度探索可能影響基礎模型中組合性的因素(例如,模型架構、規模、組合類型、輸入等)。
(方法)我們能否找到或設計出可跨不同領域遷移的、與現有基礎模型兼容的組合學習方法?
這一議題旨在促進各領域研究者之間的讨論,以研發更魯棒且與模型無關的組合學習策略。可繼續探索的研究方向包括通過數據增強算法、基于 mixture-of-experts 的模塊化算法。
(觀點及方法)模塊化學習策略在現有研究中是實現組合性的手段之一,然而針對該策略仍存在一個關鍵科學問題:結構模塊化是否一定保證組合泛化能力?兩者之間是否存在關聯?
本次研讨會将涵蓋各種模塊化學習策略(例如,适配器、prompts、稀疏化),并從理論和實驗兩方面回答上述問題。
(展望)在将組合學習策略擴展到持續學習環境時,會存在哪些獨特挑戰?可能的解決方案是什麽?
組合學習的最終目标是通過不斷組合已有組件持續适應動态變化的世界,以減少模型性能随時間退化的風險。通過該議題,本次研讨會将讨論面向連續學習現有組合學習方法所面臨的挑戰,例如和記憶體及知識存儲相關的問題,并探索潛在解決方案。
歡迎對上述問題感興趣的機器學習研究者提交論文,特别鼓勵組合泛化、組合推理、模塊化深度學習、遷移學習、持續學習和基礎模型等領域的研究者投稿,也歡迎研究神經科學的學者投稿,以提供更廣闊的視角。
感興趣的主題包括但不限于:
Empirical analysis of compositional generalization/reasoning capacity in various foundation models
Mechanism understanding of compositional generalization/reasoning in foundation models
Reliable and model-agnostic compositional generalization methods
Modular and dynamic architectures
Theoretical foundations and empirical findings of connections between modular structures and compositional generalization
Continual/transfer learning through compositionality
Compositional learning for various application domains, such as computer vision, natural language processing, reinforcement learning, and science.
格式要求
提交的論文必須是 PDF 格式并匿名化。
内容頁限制爲四頁,包括所有圖表;參考文獻和補充材料可以增加額外的頁面。
評審人可以選擇閱讀補充材料,但不做強制要求。
最終稿可以擴展至五頁内容。
雙重提交政策
接受正在進行的和未發表的工作投稿,也接受提交時正在審稿或最近被接受但未發表的論文。
聯系方式
如有任何問題,可聯系:
如果您願意擔任本次研讨會的評審人,請在此處報名:
https://docs.google.com/forms/d/e/1FAIpQLSc7PKRLrjsxBSXmtvuiR0rkbOBrcowBuHxQdupIfcxhO52KIw/viewform
重要日期
提交截止日期 : 2024 年 9 月 10 日,AOE
錄取通知 : 2024 年 10 月 10 日,AOE
視頻錄制截止日期(僅限口頭報告): 2024 年 10 月 20 日
最終研讨會定稿截止日期 : 2024 年 10 月 30 日
官方網址:https://compositional-learning.github.io/
提交網址:https://openreview.net/group?id=NeurIPS.cc/2024/Workshop/Compositional_Learning
— 完 —
投稿請發郵件到:
标題注明【投稿】,告訴我們:
你是誰,從哪來,投稿内容
附上論文 / 項目主頁鏈接,以及聯系方式哦
我們會(盡量)及時回複你
點這裏關注我,記得标星哦~
一鍵三連「分享」、「點贊」和「在看」
科技前沿進展日日相見 ~
>