ChatGPT 并不算創新。
OpenAI 做的這個東西跟其他實驗室相比，根本算不上什麼進步。
這兩天，圖靈獎得主 LeCun 公開和大熱趨勢" 唱反調 "，瞬間引發網友圍觀。
要知道，ChatGPT 功能強大又好玩，火爆全網，任誰看了都得感歎一句 " 技術也太強了吧 "，AI 大佬對此卻" 不敢苟同 "？
對此，不少網友稱 LeCun 就是在"酸 "OpenAI 的成就：
"OpenAI 現在讓谷歌和 Meta 都處于 ChatGPT 的陰影之下。這就是為什麼它不算革命性的創新。"
但也有學者為他撐腰，稱 "ChatGPT 就是一年前的 InstructGPT 的改進版本，我必須同意 LeCun 的這個說法 "。
具體是怎麼回事兒？
"ChatGPT 不算技術創新，隻是組合得很好罷了 "
LeCun 是在上周于 Zoom 的媒體和高管小型聚會上發表了這些觀點。
說 ChatGPT 不創新，是就底層技術而言。
他表示，過去許多公司和實驗室都建立了 ChatGPT 這種數據驅動的人工智能系統，因此 OpenAI 的這個作品算不上獨樹一幟。
盡管 ChatGPT 在這裡面可能最強大，公衆都被它的能力所折服，覺得它能給大家的工作和生活帶來非常大的變化，但它也真的算不上革命性的科學。
他指出，除了谷歌 Meta，還有 6 家初創公司都擁有着非常相似的技術。
" 這些技術都是公開的，算不上 rocket science，如果你願意一探究竟的話，可以發現它背後沒有任何秘密可言。"
( Ps. rocket science 即火箭科學，指特别困難的事情。）
他稱 ChatGPT 僅僅是 " 組合得很好 "。
具體都 " 組合 " 了以下這些關鍵技術：
首先，它的核心就是以自監督學習的方式預訓練的Transformer架構。
其中，自監督學習是 " 我 LeCun" 早就提倡的。有多早？那時 OpenAI 都還沒誕生呢。
Transformer 呢，更不用多說。是谷歌 2017 年就提出的，GPT-3 等大量語言模型都是基于它。
而說起語言模型，它的曆史就更早了。
第一個神經網絡語言模型，是 Yoshua Bengio 在大約 20 年前提出的。（注意力機制的概念最早也是 Bengio 發明的，然後被谷歌采納用于 Transformer，然後成為所有語言模型中的關鍵元素）。
也就是說，ChatGPT 不僅用的都是别人的技術，還是很早就有的技術。
另外，LeCun 還指出 OpenAI 的程序都用到了強化學習，也就是通過人類 agent 對機器的輸出進行的排名（就像谷歌的網頁排名一樣），來改善系統性能。
而這種方法不是 OpenAI，而是谷歌的 DeepMind 部門首創。
總而言之，LeCun 認為，ChatGPT 并非 " 憑空而來 "，而是在此前這麼多年這麼多項技術的積累上組合出來的。
所以，它算不上底層技術上的創新：
與其說是科學突破的案例，不如說是體面的工程案例。
有趣的是，LeCun 還給 ChatGPT 找到了同樣的例子。
那就是赢得了 DARPA 2005 年挑戰賽的自動駕駛汽車，來自企業家 Sebastian Thrun。
他表示，該獲獎項目用到的這個技術也是在基礎科學方面并不是特别創新，隻是設計得非常好。
好了，不管是現場聽衆還是屏幕前的你，現在肯定會問了：
你說 OpenAI 的 ChatGPT" 沒什麼大不了的 "，那為什麼谷歌和 Meta 等公司都沒人做出來呢？
對此，LeCun" 有備而來 "，笑着自問自答道：
它們不是不能，是不想，因為做這種東西太費錢了，得不到什麼收益。
網友：你就酸吧
媒體 ZDNet 将 LeCun 的這些觀點整理成文章進行了發表，得到了 LeCun 本人的親自轉發。
并在轉發語中再次強調 ChatGPT 和其他大型語言模型 LLM 并非憑空而來，而是數十年來不同人貢獻的成果。
因此，沒有 AI 實驗室已經明顯領先于其他實驗室。（也就是說 OpenAI 還是那個 OpenAI，沒有因為 ChatGPT 就比别人更牛了）
對于此番言論，有網友的評價卻是：
LeCun，你在嫉妒在 " 酸 "。
具體 be like：
"LeCun 這個觀點多有意思啊，就是想說 Meta 的技術與其他實驗室不相上下，沒有産品隻是因為 Meta 領導層不願意做。"
" 如果 Galactica（Meta 的語言模型）也獲得了類似 ChatGPT 的成功，你就不會說這僅僅是幾十年來各種人的貢獻的結果。你的觀點聽起來讓人覺得是你很嫉妒。我認為如果你能衷心祝賀 OpenAI，大家可能還會對你贊許有加。"
言辭可以算是很犀利了。
于是，就在今天，LeCun 又作出了這樣一個公開說明：
我不是在批評 OpenAI 的工作或他們的主張。
而是想糾正一下公衆和媒體的看法，大家說它是一個 " 全新的突破 " 這樣評價真的太高了。
你認為 ChatGPT 究竟配不配得上這樣的評價呢？
參考鍊接：
[ 1 ] https://www.zdnet.com/article/chatgpt-is-not-particularly-innovative-and-nothing-revolutionary-says-metas-chief-ai-scientist/
[ 2 ] https://twitter.com/ylecun/status/1617921903934726144
[ 3 ] https://twitter.com/ylecun/status/1617609026820542464
