今天,ICLR 2025 的 discussion phase 的 ddl 已經截止。回看過去 14 天的讨論過程,可太精彩了!
各大平台上随手一翻就是作者們的吐槽大會,都在無語這屆 ICLR 評審的各種奇葩亂象。
譬如 UCSB 博士生 @JiachenLi11 就在推特上非常之無奈:
我收到的評審内容,低到令人擔憂——其中一條評審甚至話都沒說完。難道審稿人的 tokens 用完了嗎???
△圖源推友 @JiachenLi11
你還真别說,他這個 "tokens 用完 " 的吐槽并不是空穴來風——
ICLR 2025 的論文提交數前所未有地高,約有 11000 篇。
爲了提升審稿速度和質量,ICLR 今年引入了 AI 參與審稿工作。
當然了,倒也不是單一 AI,是多個 AI 大模型組成的 Agent。
然而,你以爲審稿人話不寫完評審内容就點發送,就是 ICLR 2025 的全部槽點了嗎?
ICLR 吐槽大賞
要細數今年 ICLR 2025 的神奇事件,咱們先從最廣爲人知的一件說起:
[ 10,10,10,10 ] 和 3 個 poor 得分并存
今年的 ICLR 出現了一篇4 個審稿人同時打出了 10 分的論文。
假如這個分數能保持到中稿通知,這将是近 5 年來,ICLR 的唯一一篇滿分作文。
論文題目如下圖,是一個叫IC-Light(全稱 Imposing Consistent Light)項目,是關于控制圖像照明的。
作者張呂敏,也是大名鼎鼎的 ControlNet 的作者。
他在蘇州大學拿到學士學位後,去往斯坦福讀博。
IC-Light 可以随意控制照片主體的光源和背景,将主體、光源、背景三者迅速地融合在一張圖片裏。
半年前,IC-Light 就在 GitHub 上開源,現在共 6.5k 星。
與此同時,ICLR 2025 還出現了幾篇,某一審稿人給某篇論文全打 1 分的論文。
這裏我們打斷一下,了解一下 ICLR 的評分體系:
1 分:太差了
3 分:拒絕
5 分:婉拒了哈
6 分:接……吧
8 分:接收
10 分:強接收
就拿其中一篇來說吧,看到這個結果給作者氣的,寫了一篇十幾頁的 strong rebuttal。
那審稿人爲什麽給人家 Soundness、Presentation、Contributions 都給了 1 分?
審稿人言辭非常犀利,直呼Paper Writing is quite bad,然後還毫不客氣地提問:"Is there a human author on this paper?"
審稿人還表示,(這也是全部最低分的最重要一點),我們是可以判斷一篇論文是人寫的還是 AI 寫的," 也許您在生成文本時沒有進行基本的連貫性檢查 "。
作者繼續輸出長篇大論 rebuttal,并回擊 " 我可真欽佩你識别 AI 的能力 "。
作者 5 頁回應,審稿人在 ddl 突然否定領域
一位在北大 CS 讀博的小某書網友 @Kevin 對審稿人的神操作大吐苦水。
事情是這樣的,ICLR 不是共 14 天用來 discussion phase 嘛。
這 14 天裏,有一位審稿人 5,一共對他所在團隊提交的 paper 提出了 10 個問題。
團隊認真回複了整整五頁,審稿人 5 已讀不回。
團隊多次希望與其讨論,審稿人 5 已讀不回。
總之就是一整個石沉大海。
到了昨天,也就是 discussion phase 的最後一天," 審稿人 5 突然否定這個領域,并将 5 分改爲 3 分 "。
@Kevin 非常不理解爲什麽審稿人這樣做的意圖。
真的就,令人心碎的 discussion phase。
" 你需要引用另一篇 ICLR 2025 投稿 "
推友 @PandaAshwinee(普林斯頓博士畢業,現在在 Trails.ai 從事博後工作)給看熱鬧的網友們畫了個自己接收到的評審内容的亮點:
你需要引用另一篇 ICLR 2025 的投稿。
展開說說,就是審稿人鏈接了 ICLR 2025 openreview 的另外一篇論文,表示兩個項目高度相關,所以小哥應該引用。
但是哭啊,小哥查過了,要求被引的論文根本不在 arXiv 上。
而且這不是他第一次感覺 " 天塌了 " ——他在評論區補充,之前他的項目在 ICML 2024 被拒,主要原因也是 " 與另一篇 ICML 2024 投稿高度相似 "。
不過 ICLR 很快在小哥推文下面回複了,表達程序主席開始調查這個事兒。
" 乞讨式 "ICLR
前面提到的都是審稿人和作者有來有回(哪怕回得慢)的激情 battle,更有意思的事是,無論國内還是國外,很多人都把這屆稱爲 " 乞讨式 "ICLR。
簡而言之,就是審稿人一直不給評審不給分。
有人上個月下旬的時候,就開始給所有 AC(區域主席)發了郵件,要求他們提醒審稿人回複作者。
或者至少确認審稿人們知道自己還得幹這活。
當時就有網友提醒 " 最壞的打算 ",有的審稿人會拖到最後一刻,因爲他們也在爲自己措辭……
果不其然,單看國内,昨天開始 24h 内倒計時了,很多作者還在懇求審稿人快快評審,快快給分。
哎。
對作者的奇怪請求
在 Google DeepMind 工作的 Ahmad Beirami(@abeirami)分享了一則訊息:
發到推特上後,有 ICLR 作者表示出了疑惑:
如果作者們寫了這玩意兒,是否真的對審稿有幫助?
他覺得這 " 可能是在浪費時間 ",因爲審稿人完全可能看都不看,直接去看 paper 原文。一切都是徒勞的。
不過 Ahmad 很快回複了這位作者:
Yes!
作爲一名 AC,我想确保我沒有從作者的角度遺漏任何内容。可能會有很多變化、新結果等。我想确保我知道在哪裏找到它們,以便能夠形成觀點,判斷一些原始評論 / 關注是否适用。
得到這個答複後,作者小哥很愉快地去添加注釋去了。
ICLR 2025 爲何這樣
以上種種,隻是大家或身在其中 / 或圍觀看熱鬧的 ICLR 2025 的一點點故事而已。
但,身爲權威頂會,爲什麽會這樣?
有的人認爲和今年的稿件數量有關。
官方數據顯示,ICLR 2025 的論文提交數量達到了 11,000 多篇,同比增長 61%。
而去年 ICLR 2024 組委會收到的投稿總數爲 7,262 篇——當然了,對那時候的 ICLR 來說也是不小的工作量,同比增長了 47%。
今年,面對如此龐大的論文數量,審稿人數量高達 15,000 多名。
這還不夠,官方還引入了多個 AI 大模型構成的 Agent 來參與審稿。但它的功用不是完全替代審稿人,它不會撰寫審稿評論或直接編輯評論,而是提供建設性和可操作性的反饋,幫助審稿人提高審稿質量。
這個 Agent 針對審稿中可能存在的三類問題提供建議:
鼓勵審稿人改寫含糊的評論,使其對作者更具可操作性;
突出文章中可能已經回答了審稿人問題的部分;
發現并處理不專業、不恰當的言論。
但很多作者認爲,稿件數量激增确實加大了工作量,Agent 的輔助無可厚非,但絕不是 ICLR 變成被看熱鬧的 " 科研春晚 " 的原因。
一方面,Agent 提出的建議,審稿人是可以選擇接受或者忽略不管的。
另一方面,極速擴張的審稿人中,是否有人并不是适合評審工作?
再一方面,爲了确保審稿質量,每位審稿人平均分配 3 篇論文,頂天了看 4 篇,工作量并不是超負荷狀态。
除了有點混亂以外,另一個被網友們激烈讨論的點,集中在這屆 ICLR 的分數上。
一般來說,ICLR 的傳統接收率在 30% 左右,然後今年 ICLR 的排名前 30% 的論文,平均評分約爲 5.6。
前面我們介紹了,6 分算是一個勉勉強強的分數,屬于論文被接收的邊緣門檻。
這就意味着 " 低于‘邊緣接受’門檻的論文将被接收 "。
網友談道,"當會議接受變得如此随意時,我們正在破壞整個科學評估系統——這影響到 AI 研究整體的完整性。"
在此基礎上,他提出了三點自己的思考,希望 ICLR 應有更嚴格和公平的程序。
當然,也有另一種聲音:
期待一些超級強大到無懈可擊的大模型出現,讓它們充當審稿人,解決上述所有問題,以此幫助減輕審稿的負擔。
隻是不知道這一天什麽時候會到來了。
參考鏈接:
[ 1 ] https://x.com/mo_danesh/status/1863964693687107823
[ 2 ] https://x.com/JiachenLi11/status/1856472250636964350
[ 3 ] https://x.com/Yuchenj_UW/status/1862541099136651536
[ 4 ] https://x.com/abeirami/status/1863629237741064608
[ 5 ] https://x.com/PandaAshwinee/status/1856384624873570749
[ 6 ] https://x.com/ysu_nlp/status/1860504185583648863
[ 7 ] https://openreview.net/group?id=ICLR.cc/2025/Workshop_Proposals#tab-accept