面對 ChatGPT,Nature 終于坐不住了。
本周,這家權威學術出版機構下場,針對 ChatGPT 代寫學研文章、被列為作者等一系列問題,給了定性。
具體來說,Nature 列出兩項原則:
(1)任何大型語言模型工具(比如 ChatGPT)都不能成為論文作者;
(2)如在論文創作中用過相關工具,作者應在 " 方法 " 或 " 緻謝 " 或适當的部分明确說明。
現在,上述要求已經添進作者投稿指南中。
近段時間,ChatGPT 染指學研圈情況越來越多。
去年 12 月一篇雷帕黴素抗衰老應用的論文中,ChatGPT 就曾被列為一作,引發業内争議。該篇之外,還有不少研究将 ChatGPT 列為作者。
Nature 也已注意到此類狀況,他們于 12 月進行了一項調研顯示,293 名受訪的教授老師中,20% 已經發覺或目睹學生在用 ChatGPT 完成作業或論文,更多人對此表示擔憂。
此次,Nature 所發表的聲明,正是希望對種種争議給予定性。
多篇論文已将 ChatGPT 列為作者
ChatGPT 由 OpenAI 在去年 11 月末推出,因其表現大幅超越此前大型語言模型(LLM),迅速成為歲末年初第一号 " 竄天猴 "。
在新媒體、影視、軟件開發、遊戲互動等領域中,ChatGPT 被迅速加以利用,輔助生産提升效能。
學研圈也不例外。
據 Nature 統計,使用 ChatGPT 并将其列為作者的論文最少有 4 篇。
其中一篇預印本在 2022 年 12 月發表于醫學預印本資料庫 medRxiv 上。該論文研究了 ChatGPT 在美國醫學執照考試中的表現。盡管研究關于 ChatGPT,但作者欄中也列上了 ChatGPT。
另一篇論文發表在《護士教育實踐》雜志上,關于開放人工智能平台在護理教育中的利弊,同樣,ChatGPT 被列入作者欄:
第三篇論文來自 AI 藥物研發公司 Insilico Medicine,内容關于一種新藥雷帕黴素,發表于《Oncoscience》。同樣,ChatGPT 被列為作者。
第四篇稍顯 " 古早 ",發表于 2022 年 6 月,探讨主題就是—— AI 生成論文的能力如何。被列入作者一欄的 AI 也并非 ChatGPT,而是更早發布的 GPT-3。
盡管上述研究内容多少都與生成語言模型有關,但對于嚴肅的科研活動來說,使用 " 研究對象 " 寫論文,并将其列入作者欄,不可避免引發了争議和質疑。
且即便不将 AI 列為作者,學研圈使用 ChatGPT 的情況也越來越普遍。
前文提及 AI 藥物研發公司 Insilico Medicine 的 CEO,Alex Zhavoronkov,他透露道,其所在的機構已發表了 80 多篇由 AI 工具生成的論文。
英國教授 Mike Sharples 一直關注生成 AI 對學術研究的影響。不久前,他在推特上親手演示了如何用大型語言模型 10 分鐘生成一篇學術論文,一步步描述自己如何用 AI 根據标題生成摘要,也引發不小讨論。
學生使用 ChatGPT 幫助撰寫論文、生成代碼、完成作業更為普遍,目前,美國已有部分地區教育機構禁止使用該工具。
就在上周,北密歇根大學一位學生依靠 ChatGPT 寫出全班最高分論文。
有意思的是,該學生之所以被抓住,是因為所提交文章邏輯過于連貫,結構過于合理,以至于導師專門去質問了一下才得知真相。
△ 北密歇根大學
需要明确的是,上述抓包隻是偶然,更多時候,生成内容已讓科學家們真假難辨。
Nature 此前一篇文章指出,ChatGPT 發布後,伊利諾伊州西北大學一個研究小組就在探究,使用該 AI 工具生成醫學論文摘要,科學家是否能識别。
結果發現,AI 生成摘要均通過了抄襲檢測器,在人工審核中,32% 的 AI 生成摘要被認為是真實人類完成的。
已在開發辨别工具
此番 Nature 下場,表明了他們對 ChatGPT 引發問題的重視。
在最新内容中,Nature 表示,學研圈都在擔心,學生及研究者們可能會以大型語言模型生成的内容當作本人撰寫的文本,除卻冒用風險外,上述過程還會産生不可靠的研究結論。
尤其針對 ChatGPT,Nature 團隊及很多出版商、平台均認為,該工具無法對科學論文的完整性及内容本身負責。
一個側面佐證是科技媒體 CNET 這兩天曝出,該平台 AI 編寫的 77 篇内容中,41 篇有錯誤,目前,平台已予以更正,并表示将暫停此種方式生産内容。
正是基于對上述情況的擔憂,Nature 出台了相關規定。
至于如何分辨 AI 生成内容?
Nature 表示,目前 ChatGPT 原始輸出可以通過仔細檢查而被發現,尤其涉及具體科學工作時,内容可能包含最簡單的錯誤及泛泛乏味的措辭。此外,Nature 也表示,他們還在開發相關識别技術。
值得一提的是,相關識别工具也有人開發出來了。
比如 OpenAI 自己推出的 GPT-2 Output Detector,輸入 50 個以上字符(tokens)就能較準确地識别 AI 生成的文本。
再比如普林斯頓大學生 Edward Tian,也做出過相關工具 GPTZero。
不過,并非所有大學教授和老師對 AI 生成工具持否定态度。
比如賓大沃頓商學院一位教授 Ethan Mollick,反其道而要求學生使用 ChatGPT 完成課堂作業,并認為這是在擁抱新興技術工具。
論文發表平台 medRxiv 一位工作者也表示,ChatGPT 也不算新麻煩。
他認為,此前,研究者都嘗試偷偷加入寵物、虛構人物名字。因此,他們認為,問題核心是——需要繼續加強檢查。
最後問問,你在科研工作中用了 ChatGPT 麼?
參考鍊接:
[ 1 ] https://www.nature.com/articles/d41586-023-00191-1
[ 2 ] https://www.nature.com/articles/d41586-023-00056-7
[ 3 ] https://www.nature.com/articles/d41586-023-00204-z
[ 4 ] https://www.theverge.com/2023/1/26/23570967/chatgpt-author-scientific-papers-springer-nature-ban
[ 5 ] https://www.businessinsider.com/wharton-mba-professor-requires-students-to-use-chatgpt-ai-cheating-2023-1