把論文丢給 GPT-4 進行撤稿預測，和人類審稿人給出的結果相似性近 95%！
具體來說，來自人大與浙大學者團隊的研究者們把涉及數千篇 SCI/SSCI 的期刊論文的 10000 多條推文喂給了 GPT-4，讓它根據推文回答 " 這篇論文是否有可能被撤稿 "，然後和人類預測的結果相比較。
結果，GPT-4 幾乎完美地勝任了這項工作。
也就是說，雖然近期偶有新聞冒出，有人直接把 ChatGPT 等大模型的生成内容複制進論文正文，進而引發一系列學術不端問題。
但，大模型可能引發學術不端，也有辦法維護科研誠信。
論文作者 Er-Te Zheng 總結道：
AI 能否應用于學術研究，這一問題的關鍵，在于 AI 工具如何被人類所使用。
推文能預測論文撤稿
作爲讓 ChatGPT 預測撤稿與否的基礎，研究團隊首先探索了 " 推文本身能否預測撤稿 "。
現實情況中，許多有問題的論文都是在推特等社交平台上被曝光，引發關注，繼而被撤稿——比如前段時間争議不小的用 AI 繪制小鼠插圖的論文。
在探索推文本身能否預測撤稿的過程中，團隊搜集了一組包含 3505 篇撤稿論文的數據集，并采用粗略精确匹配方法獲得的具有相似特征的 3505 篇未撤稿論文。
這些特征包括發表期刊、發表年份、作者數量和推文數量。
上述 7010 篇論文的推文數據通過推特 API 收集，數據内容包括推文發布日期和文本内容。
篩選出在論文撤稿前發布的推文後，研究團隊最終共搜集到 8367 條涉及撤稿論文的英文推文和 6180 條涉及未撤稿論文的英文推文。
研究把推文分爲訓練集和測試集。
訓練集用來訓練模型，然後在測試集上驗證人工預測、關鍵詞方法、機器學習模型和 ChatGPT 的預測結果情況。
人工預測結果（研究者根據推文預測論文撤稿情況）是研究使用的主要基準之一，用以衡量模型與人工方法的一緻性情況。
人工預測結果顯示，人類若認爲推文暗示論文存在問題，則推文涉及的這篇論文有高達約 93% 的幾率會被撤稿（精确率≈ 93%），這說明部分推文的确能夠預測論文撤稿。
不過，像這樣能通過推文被人工預測出撤稿的論文的總體占比不高，約占所有撤稿論文的 16%（召回率≈ 16%）。
因此，盡管隻有一小部分撤稿論文的相關推文在論文撤稿前含有了可識别的問題信号，但這些信号确實存在。
研究者觀察到，能夠有效預測論文撤稿的批評性推文有兩種類型：
第一種直接突出論文中的錯誤或學術不端行爲；
第二種使用批評或諷刺的方式來突出論文的質量存疑。
這些推文能夠促使期刊對論文進行調查，如果調查證實了推文中提到的問題的存在和嚴重性，論文随後可能會被撤稿。
在這種情況下，批評性推文可以作爲撤稿論文的催化劑，強調了将其納入研究誠信的早期預警系統的價值。
ChatGPT 預測結果 95% 近似人類
既然發現推文具有預測論文撤稿的潛力，研究進一步探索了關鍵詞方法、機器學習模型和 ChatGPT在根據推文來預測論文撤稿方面的潛力，将各模型的預測結果與人工預測結果進行比較。
研究表明，GPT-4 的總體預測結果（包含撤稿預測和非撤稿預測）與人工預測結果的一緻性最高，約 95%。
其次是 GPT-3.5 和 SVM 模型，其一緻性超過 80%。
而關鍵詞方法與其他機器學習模型的一緻性則在 47%-64% 之間，預測效果一般。
在精确率方面，同樣是 GPT-4 的精确率最高：
GPT-4 預測會撤稿的論文中，近 70% 的在人工預測中同樣會撤稿；而其他模型的預測精确率均遠低于 GPT-4。
上圖進一步顯示了不同模型預測結果與人工預測結果的比較。
關鍵詞方法和三種機器學習模型（LR、RF 和 NB）将大量人工無法判定爲撤稿的論文歸爲撤稿（過拟合率高）。
相比而言，GPT-4 的預測結果最接近于人工預測的結果：
絕大部分 GPT-4 預測爲撤稿的論文，人工預測也爲撤稿，絕大部分 GPT-4 預測爲非撤稿的論文，人工預測同樣爲非撤稿。
有請實例
與其他方法相比，ChatGPT 還有一個重要的優勢——能夠爲其預測提供理由，而其他方法則無法詳細解釋其決策。
例如，從樣本論文中可以看出，ChatGPT 對推文有深刻的理解，并能準确提取可能預測論文撤稿的信息，爲使用推文評估論文是否存在潛在問題提供了寶貴的幫助。
舉個：
然而，也要注意到 ChatGPT 有時存在 " 幻覺 " 問題。
也就是說，ChatGPT 可能會産生不恰當的輸出，因此在使用時需要謹慎，并考慮到其可能的錯誤預測。
例如：
樣例論文 3 中，相關推文是對這篇論文的評價，暗示該論文指出諾獎得主的某篇論文存在問題。
然而，ChatGPT 将樣例論文 3 誤以爲是被撤稿的諾獎得主的相關工作，因此這篇論文可能被撤稿。
此處的分析結果表明，ChatGPT存在一定的邏輯推理謬誤與過度解讀等問題。
因此，ChatGPT 雖然能夠通過推文從一定程度上預測論文撤稿，與人工預測的一緻性在各模型中表現最好，但其在當前并非完美，在未來仍有長足的改進空間。
網友對這項研究也挺關注，表示用 ChatGPT 預測論文撤稿，真是從未設想過的道路。
因缺斯汀，我還以爲沒有足夠多的數據來支撐這一結論呢！
總體而言，研究揭示了社交媒體讨論作爲論文撤稿早期預警的潛力，同時也展示了 ChatGPT 等生成式人工智能在促進科研誠信方面的潛在應用。
研究作者介紹
最後，來認識一下這個研究的作者～
Er-Te Zheng（鄭爾特），人大信息資源管理學院碩士生，由 Zhichao Fang 助理教授指導；本科時，他在浙江大學獲得管理學學士學位，師從 Hui-Zhen Fu 副教授。
他的研究方向涉及計算社會科學、科學學和科學計量。
Hui-Zhen Fu（付慧真），浙大公共管理學院信息資源管理系副教授，北京大學博士。
擔任信息資源管理研究所副所長，荷蘭萊頓大學科學技術研究中心（CWTS）訪問學者。
她的研究方向爲交叉科學、科學計量、科研誠信和科研管理，在國際權威刊物發表論文超 40 篇（SCI/SSCI），連續四年（2020-2023）入選愛思唯爾中國高被引學者榜單。
Zhichao Fang（方志超），人大信息資源管理學院助理教授，荷蘭萊頓大學科學與技術研究中心（CWTS）博士，萊頓大學 CWTS 客座研究員，伊朗波斯灣大學社交媒體數據研究組成員。
他的研究方向爲科學學、科學計量和社交媒體計量學，在科學計量學與科技政策等領域發表 SCI/SSCI 論文 20 篇。
論文鏈接：https://arxiv.org/abs/2403.16851
— 完 —
【 火熱報名中】中國 AIGC 産業峰會
定檔 4 月 17 日
峰會已經邀請到數位代表技術、産品、投資、用戶等領域嘉賓，共論生成式 AI 産業最新變革趨勢。
最新确認嘉賓包括：商湯科技楊帆、輕松集團高玉石、印象筆記唐毅、螞蟻集團李建國等，。
峰會将全程線上下同步直播，歡迎預約直播 ⬇️
點這裏關注我，記得标星噢
一鍵三連「分享」、「點贊」和「在看」
科技前沿進展日日相見 ~
