爲什麽是 OpenAI 率先打造出了 Sora?
現在全世界不論研究員、工程師還是投資人都在問這個問題。
最近幾天,人們對于視頻大模型 Sora 的讨論熱度持續升高,信息早已破了圈,相關的投資熱點都已經出現了兩輪。
Sora 生成的「Flower tiger」視頻。試問這種生成能力會催生多少新腦洞?
在一篇文章中,加州大學伯克利分校計算機科學博士、知乎作者 @SIY.Z 分析了 OpenAI 成功的一些原因,包括:
目标和商業模式明确:目标就是 all in AGI,一切研究圍繞着探索通往 AGI 的路徑;商業模式就是 SaaS,直接給 API。
方法論明确:包括 The bitter lesson(源自 Rich Sutton 的經典文章《苦澀的教訓》,核心觀點是:人工智能如果想要長期獲得提升,利用計算能力才是王道)、Scaling Law、Emerging properties 等。
@SIY.Z 總結說,「OpenAI 采取的商業模式以及其對于 AGI 的信奉、系統性的方法論以及積極的嘗試,都在推動他們朝着實現通用人工智能的目标前進,實現了一種可以跑通所有 AGI 技術棧的模式,而這一點,是 OpenAI 能在衆多研究機構和公司中脫穎而出的重要因素。」詳情請參見知乎原貼。
知乎原貼地址:https://www.zhihu.com/question/644486081/answer/3398751210?utm_psn=1743584603837992961
除此之外,我們知道,人才的聚集也是 OpenAI 成功的一個重要因素。這些人才在 OpenAI 是怎麽工作的?天才們是不是不需要花多大力氣就能做出 ChatGPT、Sora 這種領先的技術成果?答案似乎是否定的。
今天淩晨,OpenAI 研究人員 Jason Wei 自曝的每日工作時間線在社交網絡上被瘋傳。
Jason Wei 本科畢業後加入谷歌,還以一作身份寫出了「思維鏈」的開山之作,現在在 OpenAI 參與打造 ChatGPT。
我們按時間順序來看一下這個作息表。
早上看起來很正常:
9 點起床;
9 點半乘 Waymo 無人駕駛車去公司,然後吃點牛油果吐司當早飯;
9 點 45:背誦 OpenAI 章程(核心是确保通用人工智能造福全人類),向最優化的神禱告,學習《苦澀的教訓》;
10 點用 Google Meet 開會,讨論怎麽在更多數據上訓練更大的模型;
11 點寫代碼,用來在更多數據上訓練更大的模型;
12 點去食堂吃午飯(素食,無麸質);
下午開始增加工作強度:
1 點繼續訓練模型;
2 點調試基礎設施問題;
3 點監控模型訓練,順便玩一下 Sora;
4 點對前面提到的訓練的模型進行提示工程;
4 點半休息一下,坐在牛油果椅子上,想知道 Gemini Ultra 到底有多好;
5 點進行頭腦風暴,思考改進模型的潛在算法;
5 點 05 得出結論:改變算法風險太大,隻擴展計算和數據更安全;
6 點吃晚飯;
7 點通勤回家。
然後和很多人一樣,夜幕降臨,生産力最高的時間段來了:
8 點喝杯酒,繼續寫代碼,此時達到鮑爾默峰值(傳說中微軟在 80 年代末發現的定律,即程序員在血液酒精濃度在 0.129%~0.138% 時會産生超人的編程能力);
9 點:分析實驗運行;
10 點:開始實驗,讓其整晚運行,第二天早上拿結果;
淩晨 1 點:真正開始運行實驗;
1 點 15 就寝。默念「Compression is all you need」。
信息量很足,除了學 CEO 奧特曼吃素、揶揄 Teams 不好用之外,看來 OpenAI 的工程師們也極爲關心自己競争對手的動向。
Meta FAIR 研究院研究員、高級經理田淵棟看完以後表示:都說國外沒有 996,其實真正可怕的是自我驅動的卷。
上周末,DiT 論文作者之一的謝賽甯在辟謠自己不是 Sora 作者的同時,也透露了一點項目領頭人 William (Bill) Peebles 等人在打造 Sora 時工作強度的信息:
「每天基本不睡覺高強度工作了一年。」
上周三,已經二進宮 OpenAI 的知名 AI 學者 Andrej Karpathy 再次宣布離職,這次隻待了一年。雖然他表示「沒發生什麽特别的事情」,不過在第二天又秀了一下日程表:
讓人感覺到溢出屏幕的輕松。
隻有産品上線之前的一線工程師才這樣嗎?并不是。引爆了生成式 AI 的 ChatGPT 項目雖然人數衆多,但從上到下都卷得令人生畏。在去年 OpenAI 風頭壓得谷歌等公司喘不過來氣的時候,這家公司的信任與安全主管 Dave Willner 卻在領英上自宣辭職,原因就是「太卷了」。
Willner 在 7 月 20 日發布的一個帖子上表示,将辭去 OpenAI 高管職務,優先考慮工作與生活的平衡,辭職是一個「相當容易做出的選擇」。
他表示,雖然領導 OpenAI 安全項目的工作是「當今最酷、最有趣的工作之一」,但自從 2022 年 2 月加入該公司以來,他的工作範圍和規模大幅增長。自從 ChatGPT 推出以來,将家庭需求置于工作之上已變得越來越困難。
Willner 的聲明得到了同行們的一緻支持,包括那些在 Meta、谷歌和 AirBnb 擔任管理職務的人,評論者們認爲 Willner 辭職的選擇明智且鼓舞人心,并表示他勇敢地公開了自己不斷變化的優先事項。
随後的故事我們已經知道了:谷歌 Gemini 繼續追趕,上個星期,Sora 再次擴大了 OpenAI 的領先優勢。
看起來,天下沒有免費的午餐。
選對方向,堅持信念,向着 AGI 的目标前進,OpenAI 這些年的起起伏伏向我們生動展示了一家前沿研究機構該有的樣子。