品玩 8 月 8 日訊,美國普渡大學的研究發現,OpenAI 開發的人工智能聊天機器人 ChatGPT 在回答軟件編程問題時,錯誤率超過一半,且能騙過三分之一的提問者。
該研究團隊分析了 ChatGPT 對 517 個 Stack Overflow 網站上的問題的回答,評估了其正确性、一緻性、全面性和簡潔性。他們還對回答進行了語言和情感分析,并對 12 名志願參與者進行了問卷調查。研究報告的結論是:ChatGPT 的回答雖然語言風格良好,但 52% 的回答是錯誤的,77% 是冗長的。參與者隻有在回答中的錯誤很明顯時,才能識别出來。否則,他們會被 ChatGPT 的友好、權威和細緻的語言風格所誤導。