「GPT 之父」剛剛被曝從 OpenAI 離職!他是 GPT-1、GPT-2 的一作,是 Ilya 在演講中感謝過的人,被很多人稱爲 ChatGPT 背後的真正先驅和無名英雄。在推動了預訓練時代,眼看着 OpenAI 即将接近 AGI 的時候,他忽然選擇離開。
剛剛,「GPT 之父」Alec Radford 被曝離職 OpenAI!
誰也沒想到,OpenAI 聖誕 12 日的特别活動接近尾聲時,居然迎來這樣一枚炸彈。
OpenAI 這次失去的,是一位元老級的骨幹成員,是真正開創 ChatGPT 這一迄今爲止最大 AI 突破的人。
2016 年加入 OpenAI 後,他不僅是 GPT-1、GPT-2、CLIP、Whisper 的一作,還爲 GPT-3、GPT-4、DALL-E 2/3 等技術突破提供了支持,是 OpenAI 多項美國專利的發明人。
他在機器學習和深度學習領域非常高産,論文引用量高達 19 萬,多篇入選 NeurIPS、ICLR、ICML 等著名會議,其合作者包括 llya、lan Goodfellow 等知名學者。
根據據 The Information 報道,就在周四,Radford 宣布離職,即将開展獨立研究。據悉,他之後計劃同時和 OpenAI 以及其他 AI 開發者合作。
OpenAI 研究負責人 Mark Chen 表示,「我們對 Alec 及其貢獻深表敬意和感謝,并期待在他探索獨立研究的同時繼續與他合作項目。」
德撲之父、OpenAI 高級研究科學家曾這樣評價道,「OpenAI 真正開始嶄露頭角,是從聘請了一位當時名不見經傳的研究員 Alec Radford 開始的」。
也有人給出了意味深長的發問:如果 OpenAI 真的處于 AGI 的邊緣,爲什麽這些人還要離開?
真正的「ChatGPT 之父」
2016 年,對于 OpenAI 來說,注定是一個轉折點。
23 歲的傳奇 AI 研究員 Alec Radford 選擇加盟,這個決定不僅僅改變了他的職業生涯,更爲 AI 的發展掀開了嶄新的一頁。
有人說,Radford 扮演的角色,如同谷歌創始人拉裏佩奇發明了 PageRank。
他是一位内斂、低調的研究者,幾乎很少露臉,也從未接受過任何采訪。
此前,Radford 曾透露自己最大興趣是,讓神經網絡能夠與人類進行真正的對話。
入職 OpenAI 後,他開啓的第一個實驗是,用 20 億條 Reddit 評論訓練預言模型,沒想到卻以失敗告終。
當時,總裁 Greg Brockman 鼓勵到,沒關系,再試試吧。
由于受限于算力,Radford 隻能在單一領域中進行實驗。接下來,他選擇了亞馬遜電商平台評論,嘗試讓語言模型簡單預測,并生成和用戶評論的下一個字符。
看似平凡的選擇,卻帶來了意外的收獲:模型不僅能預測評論下一個字符,還能自主判斷評論的情感傾向(積極 / 負面),甚至根據要求生成不同風格的評論。
文章鏈接:https://arxiv.org/pdf/1704.01444
正是這個突破,引起了 OpenAI 前首席科學家 Ilya 的注意。他接着鼓勵 Radford 進一步擴展研究範圍——在亞馬遜評論數據之外再次嘗試。
2017 年,Transformer 奠基之作出世,讓 Radford 的研究迎來質的飛躍。
他聯手 Ilya 一起,創造了共有 1.17 億參數的模型,并将其命名爲「Generative Pre-trained Transformer」(GPT)。
這個模型在 7000 本未出版的學習書籍、Quora 問答,以及各類考試文章中,展現出了前所未有的預言理解能力。
更令人驚豔的是,GPT 還具備了零樣本學習的能力,在未經訓練的領域,同樣擁有專業級水平。
這種超出預期的能力,讓團隊異常興奮,同時引發了他們對 AI 方向的深度思考。
有趣的是,當初代 GPT 問世時,Radford 和團隊選擇了一種低調的方式,将論文直接發布在 arXiv 上,并非提交各大頂會。
a16z 著名風投家 Marc Andreessen 曾這樣描述道,「在 2018 年 -2019 年之間,他隐藏在人工智能的角落,默默地在自己的領域潛心研究」。
正是這份堅持,最終改變了人工智能的發展軌迹。
這正是從這一刻起,傳奇 GPT 系列開啓了。
OpenAI,正在失去核心員工
Alec Radford 的離開,如同一枚重磅炸彈,炸得網友們驚愕不已。
有人說,這位元老對于 OpenAI 和整個 AI 研究的影響被低估了。甚至可以說,他的影響力完全不亞于 Ilya。
就在 Ilya 幾天前的 NeruIPS 2024 演講中,他還特别提到,感謝自己的前同事 Alec Radford
因爲他不僅是 GPT 的主要作者,還可能是公司每個重要研究方向的帶頭人。
UC 伯克利 AI 博士 Dan Hendrycks 表示,自己排名的 AI 學術影響力榜單中,何恺明和 Alec Radford 是妥妥的 TOP 2。
CS 教授、DeepMind 高級顧問 Jeff Clune 表示,我們應該重新爲 Alec Radford 正名。
他是 AI 研究領域最重要、但卻沒有知名度的人,被低估的人,在重大進步後隐身的人。
Clune 教授認爲,Alec Radford 應該作爲現代生成式 AI 之父被載入史冊。
許多科學家和研究者表示同意:沒錯,Alec Radford 是真正的 MVP。
好在他的離開雖然對 OpenAI 是個損失,但他未來肯定不會缺 GPU,如果做一些開放研究的話,整個世界都會受益。
也有人猜測道,每當 OpenAI 發布重大模型前後,總會有人離開。比如高級語音模式 Her 發布後,CTO Mira Murati 就離職了。
按照這個規律,或許 GPT-4.5 明天就要發布。(對于 GPT-4.5 的發布時間,此前也有很多類似的預測)
對于 Alec Radford 的離開,很多人表示理解。
一旦初創公司經曆最初的飛速發展期後穩定下來,選擇離開公司是很正常的。
他們有人脈、有履曆,可以在任何地方找到想要的工作。甚至還能創辦自己的公司,拿到數十億美元的融資。
諷刺的是,就在一年前,有網友表示 OpenAI 的分裂不會對 AI 未來的軌迹有多大影響,因爲成果背後真正的天才是像 Ilya 和 Alec Radford 這樣的科學家。
「隻要他們還在,OpenAI 就不會有任何影響。」
但如今,OpenAI 的根基正在動搖。
總結一下,OpenAI 在 2024 年已經流失多位元老。
包括首席技術官 Mira Murati、研究負責人 Bob McGrew,聯創兼研究員 John Schulman,研究副總裁 Barret Zoph,安全系統團隊負責人 Lilian Weng,聯創兼前首席科學家 Ilya Sutskever,前安全負責人 Jan Leike,現在又多了 Aled Rad。
可以預見,接下來這份離職名單還會不斷壯大。