又一 " 人類飯碗 " 被 AI 搶走,還是和訓練 AI 息息相關的:
數據标注。
蘇黎世大學研究發現,在 ChatGPT 面前,無論成本還是效率,人類可以說是毫無優勢:
成本上,ChatGPT 平均每個标注成本低于 0.003 美元,比衆包平台便宜 20 倍;
效率上,在相關性、立場、主題等任務中,ChatGPT 也是以 4:1 的優勢 " 碾壓 " 人類。
論文發出後,有網友調侃," 生成訓練數據需要人工 " 的說法已經成爲過去式了。
還有人直呼 " 古籍修複數字化工作是不是有希望提速了 "。
還有人看熱鬧不嫌事大,直接發推稱:
這是直接端了平台工作者的飯碗。
話說回來,ChatGPT 是怎麽搶了數據标注工作者的 " 飯碗 " 的?
ChatGPT 在 80% 任務上占優勢
首先得先了解下數據标注工作的具體内容。
簡單來講,數據标注就是給社交媒體上的内容數據貼标簽,将其以不同主題或者概念進行分類,或是對其立場以及情緒進行判别。
這些經過标注的數據就可以用作 NLP 模型的訓練集或是評估标準。
以往,這類工作都是交由人工處理的,比如說 MTurk 就是專門進行數據标注的一個衆包平台。
在 MTurk 這類衆包平台内部,還會有更加精細的分工,比如說會有經過專業訓練的數據标注者以及衆包工作者。
前者在産出高質量數據上具有優勢,但自然成本也更高,而後者雖然更便宜但質量也會随任務難度波動。
于是研究團隊就開始着手研究大語言模型(LLM)在這方面的潛力,并且對比了沒有額外訓練(zero-shot)的 ChatGPT(基于 GPT-3.5)和 MTurk 在數據标注上的性能。
這項對比基于研究團隊此前收集到的 2382 條推文樣本。
ChatGPT 和 MTurk 分别将推文以 " 相關性、立場、主題、政策、實用性 " 這五種任務進行标注。
評估的标準有兩條:
準确性:ChatGPT 和 MTurk 衆包工作者相較于正确标注的百分比;
編碼者間的一緻性信度:用 ChatGPT、MTurk 衆包工作者以及專業數據标注者任意二者之間的一緻性來計算;
結果呢也顯而易見,在準确性上,ChatGPT 有五分之四的任務都要優于 MTurk 衆包工作者。
在一緻性信度上,ChatGPT 全部任務都超過了專業數據标注者。
成本方面,開頭也已經提過,ChatGPT 平均每條比人工便宜 20 倍,何況 AI 還能 24*7 無休。
不過對于研究團隊得出的這個結論并不是所有網友都買賬,有人表示:
這五條任務都太單一了,難度也是。僅憑這一點就得出這樣的結論可靠性存疑。
甚至還有網友嘲諷了起研究樣本太少來:
(竟然)隻用2382 條推文做樣本。
" 飯碗威脅 " 不止數據标注
現在,AI 會不會完全取代某一類工作還不好說,但它會在一定程度上影響人類工作是毋庸置疑的。
上周,OpenAI 就發布過一份分析報告,稱有 80% 的工作都會在一定程度上受到 ChatGPT 的影響,19% 的崗位會受到 ChatGPT 的嚴重沖擊。
并且薪資越高的職業受到的沖擊就越大。
OpenAI 還進一步列出了會被影響的具體職業,從大到小依次是:
翻譯從業者、文字創作者(包括詩人、作家等)、公關人員、數學家、稅務編制人員、區塊鏈工程師、财務工作者、媒體從業者……
△圖源:OpenAI
除此之外,OpenAI 的 CEO 奧特曼也不止在一個場合下說過 "AI 會取代現有的部分工作 "。
前不久,MidjourneyV5 大升級也是讓不少人類畫師直呼飯碗不保。
emmmmmm,你覺得你的飯碗還保得住嗎?
論文地址:
https://arxiv.org/abs/2303.15056
參考鏈接:
https://twitter.com/arankomatsuzaki/status/1640521970608402435