2023 年走入尾聲,今年學術界除了在諸多領域取得突破、帶來驚喜之外,在科研誠信方面也創造了一個新紀錄。據《自然》(Nature)統計 [ 1 ] ,2023 年全球科研論文撤稿數量超過 1 萬篇,爲曆史新高。一方面,這是各大出版商努力打擊學術不端的成果,另一方面也充分暴露了多年來一直爲學界所诟病的同行評議(或稱同行評審,Peer review)問題。
《自然》統計的最近十年年度論文撤稿數量變化趨勢。圖片來源:nature.com
一、論文越多,撤稿越多
經曆過論文發表流程的科研人員對同行評議制度自不待言。作爲學術期刊出版的黃金流程,該制度最早可追溯到 17 世紀中葉英國皇家學會刊物創刊之初。随着學術期刊出版業的發展成熟,同行評議在 20 世紀 70 年代成爲了論文發表流程中重要組成部分,這項制度有效促進了學術論文數量的增長,推動科技進步。 [ 2 ]
時至今日,每年有上百萬篇論文發表在學術期刊上,背後的投稿數量更是數不勝數。期刊編輯要對投稿進行第一次評審,在其中挑選出學術價值更高并符合期刊要求的論文,之後通常指派至少兩名審稿人進行同行評議,判斷其結論是否足夠可靠、論證過程是否嚴謹等;最後編輯根據審稿意見決定是否錄用。
常見的同行評議類型包括單盲評議、雙盲評議,還有周期更長的三盲評議,以及開放同行評議(常用于開放獲取在線期刊)。一般期刊都有一套完整的同行評議制度及流程,所以一篇論文最終能在期刊上發表,無一例外都經過審稿人 " 蓋章确認 ",以保證論文質量。
但現實情況果真如此嗎?
事實上,撤稿觀察網站(Retraction Watch)一直在做相關統計。他們發現,随着論文發表數量逐年增長,撤稿數量也在同步增長。從 2022 年起,該網站分門别類記錄下 5400 多篇撤稿論文,而 2002 年的撤稿文章不過約 120 篇。 [ 3 ] 其中,2022 年因爲虛假評議或者有問題的同行評議而撤稿的論文占據了一半以上。 [ 4 ] 2023 年 11 月,學術出版商 SAGE 一口氣撤下自家《國際電氣工程和教育期刊》(International Journal of Electrical Engineering and Education)上的 209 篇論文。
經調查,這些文章的問題包括 " 同行評議受損或不符合 SAGE 的流程标準和期望等原因 "。對此,SAGE 解雇了該期刊主編," 清洗 " 了編委會。 [ 5 ] 而今年早些時候,出版商 Wiley 和 Hindawi 對外表示旗下期刊上大約有 2000 篇論文存在同行評議操縱問題,開始陸續撤稿。 [ 6 ] 而《自然》統計出的 1 萬多篇撤稿中,有超過 8000 篇便出自 Hindawi 所屬期刊。
撤稿觀察網站統計的撤稿數量。紅色代表了年度論文撤稿總數,綠色則代表因同行評議問題而撤稿的論文數量。
圖片來源:參考資料 [ 4 ]
同行評議問題本來被诟病已久,而今再度被推上風口浪尖,也因爲近年來的幾次撤稿 " 大事件 "。2023 年度最著名的論文撤稿事件要數美國羅徹斯特大學(University of Rochester)機械工程和物理學教授 Ranga Dias 團隊的室溫超導論文。
其論文 3 月于《自然》甫一發表便轟動全球,然而僅 8 個月之後,《自然》就發布撤稿聲明——這是 Dias 團隊近 14 個月内遭遇的第三起撤稿事件。另外,神經科學家、斯坦福大學前任校長 Marc Tessier-Lavigne 今年也有 4 篇論文被撤稿,這些論文曾分别發表在《細胞》(Cell)、《科學》(Science)和《自然》期刊上。
面對層出不窮、數量越來越龐大的撤稿事件,學界專家将矛頭直指對論文質量把關肩負重任的同行評議。畢竟,一旦有問題的論文在權威期刊上發表,其影響力有多大,其造成的後果就會有多嚴重,而徹底消除負面影響的時間則會更長久。例如,1998 年《柳葉刀》(The Lancet)期刊上發表的一篇論文 " 證明 " 自閉症與疫苗相關 [ 7 ] ,再度激發公衆對疫苗的不信任,并很快掀起了大規模的反疫苗運動。直到 2010 年,這篇問題論文才被撤回。
以上種種皆讓人們不斷質問:本是推動學術進步的制度,爲何讓 " 漏網之魚 " 越來越多,甚至蒙混登上頂刊?
二、同行評議的 " 不作爲 "
論文撤稿的理由很多:數據問題、圖片造假、剽竊、倫理問題等等。Dias 室溫超導論文的撤稿,主要原因是其中 8 位合作者的主動要求,他們認爲論文沒有準确反映研究材料來源、實驗測定方法和數據處理方案;而期刊也獨立發現了論文中電阻數據可靠性問題,并進行了調查,但目前尚無最終定論。 [ 8 ]
那麽,作爲 " 品控 " 的審稿人們在同行評議的時候就沒看出這些問題嗎?
遺憾的是,有些問題可能并不在當前同行評議的職責範圍内。《自然》主編 Magdalena Skipper 曾公開表示人們誤解了同行評議的作用:編輯指派科學家做審稿人,他們的主要任務是爲投稿文章提供批評意見,建議是否應該發表論文,但他們不會去審核最基礎的實驗數據集。Skipper 比喻說:" 我不希望我們的同行評議好像警察抓小偷一樣去‘提審’論文。"
知名健康媒體 STAT 新聞曾根據各家期刊和編輯的說辭,總結了審稿人在同行評議過程中不會去做的工作 [ 9 ] :
1. 不要指望審稿人能審核清楚論文作者是否将公共數據占爲己有,是否有一稿多投等行爲;
2. 不要指望審稿人能審核出論文中的欺詐行爲、抄襲等問題,除非這類問題過于顯眼;
3. 指出論文中的倫理争議不是審稿人的責任,這是作者本人應該嚴格遵守的準則;
4. 審稿人不會檢查所有數據、重新計算 p 值,除非期刊有專門負責核查統計方面的審稿人;即便有,後者通常隻會檢查一下論文中使用的統計學方法,采樣一些數據而已。
對于秉持嚴謹科學精神的科學家們來說,期刊說辭顯然是在推卸自己最基本的責任。" 我認爲期刊的作用之一就是提供更多機會,讓讀者閱讀到更多真正高質量的科研論文。" 英國《麻醉》(Anaesthesia)期刊的編輯、麻醉專家 John Carlisle 說道," 我不懂他們現在爲什麽反過來說核查數據不是他們的任務。"
三、缺乏透明度
缺乏透明度是同行評議制度的另外一個缺陷。同行評議強調盲審,論文作者、審稿人,甚至期刊編輯,彼此都不知道對方是誰。這看似公正,但也讓操縱同行評議有機可趁。
有研究指出,盲審的保密性給審稿人帶來一定安全感,但他們也可能覺得自己不一定有責任要完備周詳地考慮論文的方方面面,因此同行評議工作的完成度并不那麽徹底。 [ 10 ] 很多論文作者抱怨說,專家的反饋意見要麽泛泛而談、不得要領,要麽與文章内容南轅北轍,而作者難以根據反饋意見進一步修改論文。
另外,面對審稿人身份的 " 不透明 ",作者無法确認對方是否合适來審稿,無法了解指派的專家是否了解課題,或者審稿人是否有足夠的能力。(而如果研究領域過窄,則可能出現盲審不 " 盲 " 的問題。)随着現代科學發展的深入以及交叉學科的出現,任何專家都不可能全知全能,并且專家的個人偏見也有可能影響審校意見。這些最終都可能降低同行評議以及論文終稿的質量。 [ 11 ]
不過,如今越來越多期刊認識到需要讓同行評議更加清晰透明。由于同行評議本身不能完全保證作者得出的結論的有效性,公開審稿信息有助于表明論文中潛在的問 題和局限性,讀者自己可以從批判性的角度更好地評估研究結果。 [ 12 ]
例如,開放獲取 出版商 BioMed Central 和 PeerJ 從 2015-2016 年起,采取了開放同行評議制度——将審稿人的審稿意見在線發表,而不僅僅隻透露給作者。另一開放獲取平台 F1000Research 則采用了發表後同行評議制度,即先在平台上發表論文,學界内的任何專家都能參與論文内容的評審,公開提供審稿意見。作者随後根據這些意見進一步修改稿件,上傳更新版本,從而做到了同行評議流程的徹底公開。 [ 13 ]
除了開放獲取平台,傳統期刊也在同行評議透明化方面做出了努力。《自然 · 通訊》(Nature Communications)在 2016 年起采取讓作者選擇是否願意公開審稿意見以及作者回複。《自然》自 2020 年 2 月起也提供相同選項作爲試點,結果顯示 2021 年所發表的論文中有将近一半的文章附上了同行評議報告。現在,讀者閱讀這兩份期刊時,可以看到許多論文公開了同行評議審稿人信息,或者可下載完整的評審意見。
四、同行評議拖了科研創新的後腿
從審稿人的角度出發,我們可以看到同行評議制度的另一個關鍵局限:審稿人主要依靠現有的知識體系來審閱投稿論文中潛在的創新觀點或發現,具有偏保守的局限性,可能無法對超出自身知識範圍的颠覆性觀點做出正确判斷,從而拖了科學創新的後腿。
2015 年,發表在《美國國家科學院院刊》(PNAS)上的一篇文章 [ 14 ] 分析了 1008 份頂級期刊稿件的審稿意見,發現同行評議能夠識别出良好的研究論文,但一般無法識别出高創新性的文章,後一類型的文章往往被高影響因子期刊拒稿,最終發表在一些低影響因子期刊上。
生命科學期刊 eLife 的審稿編輯、中科院遺傳發育所研究員錢文峰曾指出高創新論文發表難的關鍵:" 我們(科研人員)大概知道什麽文章好發,太創新的文章就不好發,有一定程度創新的文章才好發。最好的文章都不太好發,同行沒那麽容易接受,他們的思想得慢慢地轉變過來。" [ 15 ]
爲了能讓文章順利發表,研究人員可能會陷入兩極化的思維模式 [ 16 ] :要麽自己的科學觀點能夠得到審稿人的喜愛,要麽一無是處。久而久之,科研人員更傾向于做能 " 取悅 " 他人的研究,在舊想法上加那麽一點兒新意(往往被認爲這算灌水),反而越來越少地去思考挑戰現有知識體系的大膽颠覆性想法。
于是,爲科學把關的同行評議繼續鞏固既有範式,爲科學突破增加了一道阻礙。因此許多人支持發表預印本論文,将自己的成果交與給更廣泛的同行,或許建設更成熟的預印本文庫會在一定程度上解決這個問題。(編者注:關于預印本論文,可參見《預印本論文靠譜嗎?》《預印本:學術交流的 " 破壞性創新 "》)
五、同行評議背後的 " 利益糾葛 "
同行評議的更深層次問題是學術事業和學術出版行業的 " 利益糾葛 "。"Publish or Perish" 文化在學術圈長盛不衰,是讓每位科研人員觸目驚心的警語,也極富争議。論文發表早已成爲科研生涯進階的重要指标,往往與有限的學術資源分配、學位獲得、職位晉升等挂鈎。
雖然不少國家,包括我國在内,已開始采取行動,力圖打破 " 唯論文 " 現象,努力建立更合理的科學評估體系和人才評價制度。但目前來說,論文發表仍是最重要的指标之一,發表壓力的存在會讓一些研究人員急功近利,甚至在論文發表流程過程中搞 " 小動作 "。而期刊出版商也會利用這種壓力,大肆出版不适合的論文。
此外,如果論文所屬的領域高度專業化,編輯之間可能很難快速找到合适的審稿人,有些期刊和編輯會允許論文作者推薦審稿人。一方面,這樣的操作可能有助于不拖延論文發表時間,有研究表明,從審稿人角度來考察,作者推薦的審稿人與編輯選擇的審稿人在審稿質量方面的差距并不大 [ 17 ] 。不過,前者的論文接收率顯著超過拒稿率,因此這樣的做法很容易被别有用心之人利用。
例如,作者可以建議審稿人隻給出正面評價。而更加惡劣的行爲是作者憑空捏造出一個審稿人,自己讓自己的文章通過同行評議。前文提到的 SAGE 大規模撤稿事件中,很大一部分論文的審稿人便由作者本人所推薦,給操縱同行評議大開便利之門,損害了同行評議的公正公平原則。
另一方面,期刊編輯們也承受着相同的發表壓力。随着論文投稿數量逐年攀升,期刊和編輯都要掙紮着完成各自的績效。出于商業考量,出版商會制定任務目标: 一方面要在盡可能短的時間内發表盡可能多的論文;同時要維持并提升期刊的影響因子。
這樣一來,編輯展開工作時會偏倚重心,更看重論文 " 數量 " 而非 " 質量 "。他們可利用手中職權,影響論文發表的最終決策,或者不再謹慎地指派審稿人,甚至不去驗證審稿人的身份。更有甚者,編輯虛構審稿人,操縱同行評審流程,以快速接收、發表論文。 [ 10 ] 早在 2015 年,Hindawi 出版商就發表過聲明,表示旗下的三名期刊編輯 " 創建欺詐性的審稿人賬戶,通過這些賬戶增加有利于論文的審稿報告 ",一頓操縱之後一口氣發表了 32 篇問題論文。 [ 18 ]
研究者的論文發表壓力和出版商盈利壓力如同兩隻無形的手,促使着編輯們将一篇篇有問題、甚至是欺詐性論文推送到自家刊物上。最終結果往往期刊平台不斷發表撤稿聲明,受損的不僅是期刊口碑,還會深深破壞公衆對科學的信任。
六、如何改變現狀?
同行評議有如此之多的問題,那有沒有辦法避免這些情況的出現呢?一篇發表于 Learned Publishing 的評論性文章提出了一些可行的建議:首先,編輯應該要擴充自己的審稿人人才庫,确保能及時選擇出可靠、高質量的審稿人,緩減期刊論文發表壓力,更集中于評估投稿質量,确保審稿人意見的公平公正。
其次,對于作者推薦的審稿人,如若期刊同意采用這樣的模式,就應該限制作者推薦審稿人的數量,或者在确定審稿人之前,先展開一輪審稿人篩選,保證審稿人本身的質量。最後,無論對于編輯還是作者,都應該時刻把欺詐性手段的嚴重後果牢記于心:阻礙科學進步不說,還可能危及人類自身。 [ 10 ]
也有人提議向審稿人支付同行評議勞務費,但這無疑會給期刊增加一筆額外開銷。對此,《科學》總編 Holdn Thorp 曾表示過:" 很難從經濟角度去如此運作。" 另一個方法是繼續同行評議,邀請審稿人評估新研究的科學設計和文章觀點的同時,期刊内部另外聘用專家展開數據核查流程。墨爾本大學(University of Melbourne)的心理學研究員、《心理學科學》(Psychological Science)期刊的新主編 Simine Vazire 就計劃在員工中增加一些科學家,承擔核查投稿論文中的數據和統計學工作。 [ 3 ]
還有期刊采取了新的出版模式:從 2023 年起,eLife 取消了同行評議後的接收 / 拒稿決策,而是将經同行評議的論文以 " 有評審報告的預印本 " 的形式發表在 eLife 網站上,包含了公衆評論,作者對評估的回應等。 [ 19 ] eLife 這次改革的關鍵點,就是讓同行評議不再爲期刊發表把關,回歸過去學術交流的角色,并且把決定是否出版的權利交給作者。
近年來,圍繞同行評審制度的争議始終存在,媒體不斷曝出的論文撤稿事件讓學界越來越懷疑同行評審是否能勝任其核心任務:确定論文原創性、正确性和重要意義。誠然,同行評審制度不是最好、也不是最壞的制度,而且也不會在一夜之間就被學界、出版界徹底摒棄。目前最好的做法是吸取已有的教訓,不斷改進流程,查漏補缺,也許在不斷累積的改變過程中,會演化出一套更合理的制度,保證論文品質,有力推動科學進步。
本文受科普中國 · 星空計劃項目扶持,出品:中國科協科普部