西風 發自 凹非寺
量子位 | 公衆号 QbitAI
如果允許學生用 AI" 作弊 "，他們的成績分布會發生怎樣的變化？
針對這個問題，真有幾位大學教授正兒八經研究了一番，并寫下了長達 62 頁的研究論文。
結果發現，使用 GPT-4 後學生的 " 能力曲線被壓縮了 "，差生和優等生的差距縮小。
沃頓商學院教授分享了這項研究後，引起不少網友讨論。網友對這樣的結果也感覺很意外：
和我的預期完全不符啊，還以爲所有人分數都會提高。
還有網友稱這是 " 真正的遊戲規則改變者 "：
AI 正在改變教育格局，在縮小差距的同時提高标準。
不過也有網友持不同觀點：
擅長使用 AI 的人可能表現會非常出色，那種看起來差距縮小的情況可能隻是因爲有滿績點 4.0 這一上限。
AI 會是 " 平衡器 " 嗎？
除了上面所說的，我們查看論文，發現研究人員還得出了這些結論：
使用 GPT-4 對參與者總體任務完成的質量影響較小且不穩定；
使用 GPT-4 顯著減少了參與者完成任務的時間；
平時技能水平較低的參與者在使用 GPT-4 後，任務完成質量提升最爲顯著，本就能獨立高質量完成任務的參與者獲得的質量提升較小；
GPT-4 能爲所有學生節省相似的時間，無論他們原本完成任務的速度如何；
即便參與者不了解自己在各項任務上的具體成績，他們也能明确指出 GPT-4 最有效的應用場景。
下面一起來看實驗詳情。
具體來說，來自南加州大學 Gould 法學院、明尼蘇達大學法學院的幾位教授，以研究 AI 輔助對法律分析的影響爲例。
給參與實驗的 60 位來自明尼蘇達大學法學院的學生提出了四項初級律師常見的任務：起訴狀起草（Complaint Drafting）、合同起草（Contract Drafting）、員工手冊起草（EE Handbook）和客戶備忘錄起草（Client Memo）。
不同的是，這些參與者随機分爲兩組（A 組、B 組），每組 30 人。A 組參與者需使用 GPT-4 完成起訴狀起草、合同起草任務，而 B 組使用 GPT-4 完成員工手冊起草和客戶備忘錄起草任務。
實驗前，全部學生都接受了約 2 小時的培訓，了解如何有效使用 GPT-4 進行法律分析。完成任務過程中，參與者需記錄自己完成任務的時間。
然後，研究人員在不知道參與者身份和其他信息的情況下，匿名完成所有作品的評分。
具體實驗結果如下。
在 4.0 績點機制上，使用 GPT-4 輔助後，學生在四項任務中的平均分數波動幅度爲 +0.17、+0.24、+0.07、-0.07。
可視化圖表更直觀：
總的來說，僅合同起草任務的表現在 95% 置信水平上展現出了統計學意義上的顯著提升。
再來看使用和不使用 GPT-4 參與者，完成任務平均花費的時間：
可以直觀地看到，參與者完成任務時間大大縮減：
更多數據和分析内容，感興趣的朋友可查看論文。
值得一提的是，幾位教授在論文最後，還寫下了 12 頁啓示，針對律師、法律客戶、法官以及法學院、法學院學生提出了不同的建議。
其中指出：法學院需要重新考慮學生使用 AI 的時機和方法，以及在何種情況下應限制 AI 的應用，以便更好地适應未來實踐的需求。
此外，針對不同人群的類似研究也不在少數。
職場中 AI 會是 " 平衡器 " 嗎？
來自哈佛商學院、沃頓商學院、MIT 斯隆管理學院等的研究人員聯合波士頓咨詢公司做了一項研究。
他們選取了波士頓咨詢公司中的部分高知員工，讓他們使用 AI 輔助完成分析、創意構思和說服技巧等 18 項任務測試。
結果發現，原本表現位于團隊下半層的顧問們在 AI 輔助下成果質量提升了 43%；而平時表現在上半層的顧問僅提升了 17%。
使用 GPT-4 之前，頂尖員工與其他員工之間的平均差距爲 22%；使用之後，這一差距顯著縮小至 4%。
MIT 的一項研究同樣表明，使用 ChatGPT 之後，高水平寫作者和低水平寫作者的表現差異縮減了一半。
創意寫作領域亦見相似現象，倫敦大學學院、埃克塞特大學研究人員的一項實驗表明，創意作家技能差距縮小，GPT-4 提供的五個創意靈感" 有效地平衡了不同創造力水平作家的創造力評分 "。
不過，盡管有多項研究表明使用 AI 可以縮減人們之間的技能差距，但正如論文分享者、沃頓商學院教授 Ethan Mollick 所言：
技能的造王者（King Maker）、加速器（Escalator）、平衡器（Leveler），AI 究竟将扮演哪一種角色，并不是總是很清楚。
你認爲 AI 在你的身邊正扮演着哪種角色？
參考鏈接：
[ 1 ] https://x.com/emollick/status/1753486416758337981?s=20
[ 2 ] https://www.oneusefulthing.org/p/everyone-is-above-average
— 完 —
點這裏關注我，記得标星哦～
一鍵三連「分享」、「點贊」和「在看」
科技前沿進展日日相見 ~
