明敏 豐色 發自 凹非寺
量子位 | 公衆号 QbitAI
就說 Sora 有多火吧。
生成的視頻上線一個、瘋傳一個。
作者小哥新上傳的效果，點贊很快破千。
失敗案例都讓人看得上瘾。
學術圈更炸開鍋了，各路大佬紛紛開麥。
紐約大學助理教授謝賽甯（ResNeXt 的一作）直言，Sora 将改寫整個視頻生成領域。
英偉達高級研究科學家 Jim Fan 高呼，這就是視頻生成的 GPT-3 時刻啊！
尤其在技術報告發布後，讨論變得更加有趣。因爲其中諸多細節不是十分明确，所以大佬們也隻能猜測。
包括 "Sora 是一個數據驅動的物理引擎 "、"Sora 建立在 DiT 模型之上、參數可能僅 30 億 " 等等。
所以，Sora 爲啥能如此驚豔？它對視頻生成領域的意義是？這不，很快就有了一些可能的答案。
視頻生成的 GPT-3 時刻
總的來說，Sora 是一個在不同時長、分辨率和寬高比的視頻及圖像上訓練而成的擴散模型，同時采用了 Transformer 架構，也就是一種 " 擴散型 Transformer"。
關于技術細節，官方報告簡單提了以下 6 點：
一是視覺數據的 " 創新轉化 "。
與大語言模型中的 token 不同，Sora 采用的是 "Patches（補片）" 來統一不同的視覺數據表現形式。
如下圖所示，在具體操作中，模型先将視頻壓縮到低維潛空間中，然後将它們表示分解爲時空補片，從而将視頻轉換爲補片。（啊這，說了又仿佛什麽都沒說）
二是訓練了一個視頻壓縮網絡。
它可以降低視覺數據維度，輸入視頻，輸出時空上壓縮的潛表示。
Sora 就在這上面完成訓練。相應地，OpenAI 也訓練了一個專門的解碼器。
三是時空補片技術（Spacetime latent patches）。
給定一個壓縮的輸入視頻，模型提取一系列時空補片，充當 Transformer 的 token。正是這個基于補片的表示讓 Sora 能夠對不同分辨率、持續時間和長寬比的視頻和圖像進行訓練。
在推理時，模型則通過在适當大小的網格中排列随機初始化的補片來控制生成視頻的大小。
四是擴展 Transformer 也适用于視頻生成的發現。
OpenAI 在這項研究中發現，擴散型 Transformer 同樣能在視頻模型領域中完成高效擴展。
下圖展示出随着訓練資源的增加，樣本質量明顯提升（固定種子和輸入條件）。
五是視頻多樣化上的一些揭秘。
和其他模型相比，Sora 能夠 hold 住各種尺寸的視頻，包括不同分辨率、時長、寬高比等等。
也在構圖和布局上優化了更多，如下圖所示，很多業内同類型模型都會盲目裁剪輸出視頻爲正方形，造成主題元素隻能部分展示，但 Sora 可以捕捉完整的場景：
報告指出，這都要歸功于 OpenAI 直接在視頻數據的原始尺寸上進行了訓練。
最後，是語言理解方面上的功夫。
在此，OpenAI 采用了 DALL · E 3 中引入的一種重新标注技術，将其應用于視頻。
除了使用描述性強的視頻說明進行訓練，OpenAI 也用 GPT 來将用戶簡短的提示轉換爲更長的詳細說明，然後發送給 Sora。
這一系列使得 Sora 的文字理解能力也相當給力。
關于技術的介紹報告隻提了這麽多，剩下的大篇幅都是圍繞 Sora 的一系列效果展示，包括文轉視頻、視頻轉視頻，以及圖片生成。
可以看到，諸如其中的 "patch" 到底是怎麽設計的等核心問題，文中并沒有詳細講解。
有網友吐槽，OpenAI 果然還是這麽地 "Close"（狗頭）。
正是如此，各路大佬和網友們的猜測也是五花八門。
謝賽甯分析：
1、Sora 應該是建立在 DiT 這個擴散 Transformer 之上的。
簡而言之，DiT 是一個帶有 Transformer 主幹的擴散模型，它 = [ VAE 編碼器 + ViT + DDPM + VAE 解碼器 ] 。
謝賽甯猜測，在這上面，Sora 應該沒有整太多花哨的額外東西。
2、關于視頻壓縮網絡，Sora 可能采用的就是 VAE 架構，區别就是經過原始視頻數據訓練。
而由于 VAE 是一個 ConvNet，所以 DiT 從技術上來說是一個混合模型。
3、Sora 可能有大約 30 億個參數。
謝賽甯認爲這個推測不算不合理，因 Sora 可能還真并不需要人們想象中的那麽多 GPU 來訓練，如果真是如此，Sora 的後期叠代也将會非常快。
英偉達 AI 科學家 Jim Fan 則認爲：
Sora 應該是一個數據驅動的物理引擎。
Sora 是對現實或幻想世界的模拟，它通過一些去噪、梯度下降去學習複雜渲染、" 直覺 " 物理、長鏡頭推理和語義基礎等。
比如這個效果中，提示詞是兩艘海盜船在一杯咖啡裏航行厮殺的逼真特寫視頻。
Jim Fan 分析，Sora 首先要提供兩個 3D 資産：不同裝飾的海盜船；必須在潛在空間中解決 text-to-3D 的隐式問題；并且要兩艘船避開彼此的路線，兼顧咖啡液體的流體力學、保持真實感、帶來仿佛光追般的效果。
有一些觀點認爲，Sora 隻是在 2D 層面上控制像素。Jim Fan 明确反對這種說法。他覺得這就像說 GPT-4 不懂編碼，隻是對字符串進行采樣。
不過他也表示，Sora 還無法取代遊戲引擎開發者，因爲它對于物理的理解還遠遠不夠，仍然存在非常嚴重的 " 幻覺 "。
所以他提出 Sora 是視頻生成的 GPT-3 時刻。
回到 2020 年，GPT-3 不是一個很完美的模型，但是它有力證明了上下文學習的重要性。所以不要糾結于 GPT-3 的缺陷，多想想後面的 GPT-4。
除此之外，還有膽大的網友甚至懷疑 Sora 用上了虛幻引擎 5 來創建部分訓練數據。
他甚至挨個舉例分析了好幾個視頻中的效果以此佐證猜想：
不過反駁他的人也不少，理由包括 " 人走路的鏡頭明顯還是奇怪，不可能是引擎的效果 "、"YouTube 上有數十億小時的各種視頻，ue5 的用處不大吧 " ……
如此種種，暫且不論。
最後，有網友表示，盡管不對 OpenAI 放出更多細節抱有期待，但還是很想知道 Sora 在視頻編碼、解碼，時間插值的額外模塊等方面是不是有創新。
OpenAI 估值達 800 億美元
在 Sora 引發全球關注的同時，OpenAI 的估值也再次拉高，成爲全球第三高估值的科技初創公司。
随着最新一要約收購完成，OpenAI 的估值正式達到 800 億美元，僅次于字節跳動和 SpaceX。
這筆交易由風投公司 Thrive Capital 牽頭，外部投資者可以從一些員工手中購買股份，去年年初時 OpenAI 就完成過類似交易，使其當時的估值達到 290 億美元。
而在 Sora 發布後，GPT-4 Turbo 也大幅降低速率限制，提高 TPM（每分鍾最大 token 數量），較上一次實現 2 倍提升。
總裁 Brockman 還親自帶貨宣傳。
但與此同時，
OpenAI 申請注冊 "GPT" 商标失敗了。
理由是 "GPT" 太通用。
One More Thing
值得一提的是，有眼尖的網友發現，昨天 Stability AI 也發布了 SVD 1.1。
但似乎在 Sora 發布不久後火速删博。
有人銳評，這不是翻版汪峰麽？不應該删，應該返蹭個熱度。
這還玩個 p 啊。
還有人感慨，Sora 一來，立馬就明白張楠爲啥要聚焦剪映了。
以及賣課大軍也聞風而動，把商機拿捏死死的（doge）。
