ChatGPT 的出現,讓不少人看到了交期末大作業的曙光(手動狗頭)。
無論是英語論文、還是閱讀筆記,隻要在 ChatGPT 的知識範圍内,都可以拜托它幫忙完成,寫出來的内容也有理有據。
不過,有沒有想過你的老師也準備用 "AI 文本檢測器" 一類的東西來防止你作弊?
像這樣輸入一段看起來沒毛病的筆記,經過它一番檢測,認為這段文字 " 由 AI 編寫 "(Fake)的可能性為99.98%!
△文本由 ChatGPT 生成
換個數學論文試試?ChatGPT 的輸出看起來沒啥問題,卻仍然被它準确識破了:
△文本由 ChatGPT 生成
這可不是靠瞎蒙或猜測,畢竟對方同樣是個 AI,還是個訓練有素的 AI。
看到這有網友調侃:用魔法打敗魔法?
用 AI 寫的東西來訓練新 AI
這個 AI 檢測器名叫GPT-2 Output Detector,是 OpenAI 聯合哈佛大學等高校和機構一起打造的。(沒錯,OpenAI 自家做的)
輸入 50 個以上字符(tokens)就能較準确地識别 AI 生成的文本。
但即便是專門檢測 GPT-2 的模型,用來檢測其他 AI 生成文本效果也同樣不錯。
作者們先是發布了一個 "GPT-2 生成内容 " 和 WebText(專門從國外貼吧 Reddit 上扒下來的)數據集,讓 AI 理解 "AI 語言 " 和 " 人話 " 之間的差異。
随後,用這個數據集對 RoBERTa 模型進行微調,就得到了這個 AI 檢測器。
RoBERTa(Robustly Optimized BERT approach)是 BERT 的改進版。原始的 BERT 使用了 13GB 大小的數據集,但 RoBERTa 使用了包含 6300 萬條英文新聞的 160GB 數據集。
其中,人話一律被識别為 True,AI 生成的内容則一律被識别為 Fake。
例如這是一段從 Medium 英文博客上複制的内容。從識别結果來看,很顯然作者是親自寫的(手動狗頭):
△文字來源 Medium@Megan Ng
當然,這個檢測器也并非 100% 準确。
AI 模型參數量越大,生成的内容越不容易被識别,例如 1.24 億參數量的模型 " 被抓包 " 的概率就比 15 億參數更高。
同時,模型生成結果随機性越高,AI 生成内容被檢測出來的概率也會更低。
但即便将模型調整到生成随機性最高(Temperature=1,越接近 0 生成随機性越低),1.24 億參數模型被檢測出的概率仍然是 88%,15 億參數模型被檢測出的概率仍然有 74%。
這是 OpenAI 兩年前發布的模型,當時對 GPT-2 生成的内容就 " 一打一個準 "。
現在面對升級版的 ChatGPT,檢測英文生成内容的效果依舊能打。
但面對ChatGPT 生成的中文,它的識别能力就不那麼好了。例如讓 ChatGPT 來一段作文:
AI 檢測器給出是人寫的概率為 99.96% ……
當然話說回來,ChatGPT 也能檢測自己生成的文本。
所以,不排除老師将你的作業直接交給 ChatGPT 來識别:
One More Thing
值得一提的是,ChatGPT 表示自己并不能訪問互聯網來搜索信息。
顯然,它還意識不到 GPT-2 Output Detector 這個 AI 檢測器的存在:
所以能不能像網友所說,讓 ChatGPT 生成一段 " 不被 AI 檢測器測出來的 " 内容呢?
很遺憾不能:
所以大作業還是自己寫吧……
參考鍊接:
[ 1 ] https://weibo.com/1402400261/Mj7QtwRoH
[ 2 ] https://github.com/openai/gpt-2-output-dataset/tree/master/detector
[ 3 ] https://chat.openai.com/
[ 4 ] https://medium.com/user-experience-design-1/how-chatgpt-is-blowing-google-out-of-the-water-a-ux-breakdown-784340c25d57