作者 | ZeR0 程茜
編輯 | 漠影
掀起視頻大模型風暴的 Sora，終于正式發布！
智東西 12 月 10 日報道，今日淩晨，OpenAI 推出文生視頻模型 Sora 的新版本Sora Turbo，稱其比 2 月預覽的 Sora 模型快得多。
Sora 可生成最高1080p分辨率、最長20 秒、16:9 / 1:1 / 9:16 畫面比例的視頻，支持用戶輸入文字或上傳圖像，并上線全新 UI 界面，以便對生成視頻進行修改、創建、擴展、循環、混合，或用文本生成全新的内容。
OpenAI 在 Sora.com 上發布一個獨立産品，免費提供給 ChatGPT Plus 和 Pro 用戶。
Plus 用戶每月最多可以生成50 個 480p分辨率視頻，或更少的 720p分辨率、5 秒視頻，對應月費 20 美元（折合人民币 145 元）。
Pro 訂閱者則最多可生成500 個視頻，并支持20 秒時長、1080p分辨率，可下載無水印版視頻，對應月費 200 美元（折合人民币 1450 元）。
平攤下來生成一個視頻花 2.9 元。
ChatGPT Plus 和 Pro 每月分别爲用戶提供 1000 和 10000 積分。其中 480p 視頻需要 20-150 個積分，720p 視頻需要 30-540 個積分，1080p 視頻需要 100-2000 個積分。Pro 用戶則享受無限量的 relaxed 視頻。
OpenAI 正在爲不同類型的用戶制定不同定價，計劃于明年初推出。
Sora 一發布，ChatGPT 氪金黨們立即瘋玩起來，紛紛在社交平台上曬出自己的第一個 Sora 生成視頻大作。
例如下面這個新聞播報視頻，雖然最終生成的視頻中有一堆亂碼文本，但視頻畫面切換的節點、文字滾動條、新聞風格鏡頭 …… 這些都是 Sora 自主完成的，并且新聞主播的形象也十分逼真。
還有此前體驗許久的藝術家，直接用 Sora 生成了一個 1 分 38 秒的MV。
不過有網友發現，同爲付費用戶，ChatGPT Plus 并不能生成帶有人物的視頻，隻有 ChatGPT Pro 才可以。
服務器很快就火爆到進不去了。
OpenAI 聯合創始人兼 CEO Sam Altman 轉發了 Sora 團隊技術人員關于注冊被禁用的帖子：" 需求高于預期，注冊将被禁用，生成将在一段時間内變慢。盡力而爲。"
他還抽空發文恭喜谷歌剛剛發布的量子計算芯片 Willow。
▲阿爾特曼回應 Sora 注冊被暫時禁用
一、Sora 專屬頁面上線：預設風格、多種選項、社區分享
OpenAI 開發了新的界面，以便更輕松地使用文本、圖像和視頻提示 Sora。
頁面下方有輸入框，可以輸入想要生成視頻的文字描述，并提供 " 預設 "、" 屏幕比例 "、" 分辨率 "、" 時長 "、" 變體 " 等選項。如果鼠标移到 "？" 圖标，會顯示生成視頻所需消耗的積分值。
畫面比例可選 16:9、1:1、9:16。分辨率可選 1080p（慢 8 倍）、720p（慢 4 倍）、480p（最快）。時長可選 20 秒、15 秒、10 秒、5 秒。一次可生成 1 個、2 個或 4 個視頻變體。
預設有 6 個選項。
點擊 "Create" 即可創建視頻。
打開每個視頻，底部還能進一步編輯提示詞、觀看故事、Re-cut（重剪輯）、Remix（基于此修改或創建新視頻）、Blend（兩個視頻無縫過渡）和 Loop（無縫循環播放）。
頁面右上角有 " 喜歡 "、" 分享 "、" 下載 " 等選項。
OpenAI 還提供精選和最新動态，不斷更新社區的創作。點擊頁面左側 Featured，可看到分享的作品。
點擊頁面右上方賬戶，可以看到視頻教程。
二、畫面元素絲滑替換，逐幀分鏡頭講故事超便捷
具體來看看 Sora 不同功能的效果。
1、Remix：替換、删除或重構視頻中的元素
你可以輸入指令，要求 Sora 生成的視頻反複修改畫面元素。有 " 強 "、" 中 "、" 微 "、" 定制 " 四種 Remix 強度選項。
比如把視頻畫面中的 " 猛犸象換成機器人 "：
再比如生成 " 打開通往圖書館的大門 " 的視頻：
然後 " 把門換成法式門 "：
" 把圖書館變成一艘宇宙飛船 "：
" 移除宇宙飛船，添加叢林 "：
" 把叢林換成月球景觀 "：
2、Re-cut：找到你最滿意的視頻片段，将它截取出來，向任一方向延展以完成場景
3、Storyboard 工具：在時間軸上組織和編輯視頻的獨特序列，精确指定每一幀的輸入
使用故事闆（Storyboard），視頻畫面能被控制得非常精細。用戶可通過輸入文字提示、上傳圖片或基于已有視頻，在頁面添加多個分鏡頭。
比如指定第一幀是 " 一隻美麗的黃尾白鶴站在小溪裏 "，第二幀畫面是 " 鶴把頭伸進水裏，撈出一條魚 "。
系統會自動擴寫提示詞。
有了這個工具，你就可以制作多鏡頭視頻大片了。
例如生成一個 " 一片廣闊的紅色景觀，遠處有一艘停靠的宇宙飛船 " 的視頻：
将下一個鏡頭指定爲 " 從宇宙飛船内部向外看，一位太空牛仔站在畫面中央 "：
然後來個 " 針織布面罩框住宇航員的眼睛的詳細特寫視圖 "：
視頻就有了清晰的故事線。
4、Loop：使用循環剪輯并創建無縫重複的視頻
Loop 有 " 短 "（2 秒）、" 中 "（4 秒）、" 長 "（完整版）三種循環選項。
示例 1：花
示例 2：樓梯
5、Blend：将兩個視頻合成爲一個無縫剪輯
Blend 曲線有過渡（Transition）、混合（Mix）、采樣（Sample）、定制（Custom）四個選項。
可将兩個視頻畫面無縫融合：
6、Style presets（樣式預設）：使用預設創建和分享激發想象力的風格
右下角是兩個猛犸象在步行的視頻，你可以将風格切換成 " 硬紙闆和紙質工藝品 "（左上）、" 複古電影 "（右上）、" 懷舊檔案 "（左下）。
三、網友玩出 Sora 各種 bug：搞錯性别、文字亂碼、鏡頭變化不聽指令
Sora 公開上線後，首批 ChatGPT 試用者們積極在社交平台曬作品。許多視頻乍一看都非常逼真，其中也不乏一些令人啼笑皆非的畫面細節。
這個用戶的提示詞是 "一隻鹈鹕沿着俯瞰港口的沿海小徑騎自行車"，不過最後生成的視頻中，鹈鹕在中途莫名其妙地變爲向相反的方向騎行。
還有用戶的生成視頻中，Sora 直接把人物性别搞反了。網友的提示詞是 "一個 30 多歲的男人，黑頭發，戴着眼鏡，和一位黑發女人一起走在尼斯的長廊上。天氣很好，有幾個人在海灘上曬日光浴"。但視頻中出現了兩位女士。
再來看下面的用戶體驗視頻，網友稱這條視頻 Sora 花費了大約30s，不過其并沒有公開提示詞。
還有用戶立即對比了 Sora、Runway、快手可靈、MiniMax 海螺的效果。提示詞是 "維京演員的情感表演。當演員皺眉時，鏡頭推到臉上"。
從結果來看，Sora 的視頻鏡頭多變，且頗有大片風範，但沒有實現 " 當演員皺眉時，鏡頭推到臉上 "。
快手可靈的生成效果是最契合提示詞的，人物有細微的皺眉動作，且鏡頭聚焦到了人物臉上。
MiniMax 的海螺生成的視頻則是拉遠了鏡頭。
Runway 的人物表情相比其他三家在皺眉的同時帶動了臉部其他位置的變化。
四、公開、專用、人類三類數據來源，數百名創意人士已體驗 10 個月
OpenAI 還發布了 Sora System Card 來分享其安全和監控方法的詳細信息。
Sora 構建于 DALL · E 和 GPT 模型的基礎之上，是一種采用 Transformer 架構的擴散模型，從一個看起來像靜态噪聲的基礎視頻開始生成視頻，然後通過多個步驟消除噪聲，逐漸對其進行轉換。通過讓模型一次預測多個幀，Sora 生成的視頻可以确保主體即使暫時消失在視野之外也能保持不變。
該模型使用了 DALL · E 3 中的重新标注技術（Recaptioning Technique）。該技術可以爲視覺訓練數據生成高度描述性的字幕，使模型能夠更忠實地遵循生成的視頻中用戶的文本指令。
除了能夠僅根據文本指令生成視頻外，該模型還能夠利用現有的靜态圖像生成視頻或者利用現有視頻進行擴展或填充缺失的幀。OpenAI 相信這一能力将是實現通用人工智能（AGI）的重要裏程碑。
1、訓練數據來源：公開可用、企業專有數據、人類數據
與語言模型擁有文本 token 不同，Sora 擁有視覺塊（visual patches），這已被證明是視覺數據模型的有效表示。
基于此，OpenAI 的研究人員發現視覺塊是一種高度可擴展且有效的表示形式，可用于在各種類型的視頻和圖像上訓練生成模型。在高層次上，他們首先将視頻壓縮成一個低維的潛在空間，然後将表示分解成時空視覺塊。
此外，Sora 接受了各種數據集的訓練，包括公開可用的數據、通過合作夥伴關系訪問的專有數據以及内部開發的自定義數據集。這些包括：主要從行業标準的機器學習數據集和 Web 爬蟲中收集到的公開可用數據；OpenAI 建立合作夥伴關系以訪問非公開可用的專有數據，并合作調試和創建适合其需求的數據集；來自AI 培訓師、紅隊成員和員工的反饋。
2、四項輸出前安全措施，數百名專業人士已測試 10 個月
Sora 的能力可能帶來新的風險，例如濫用相似或産生誤導性或露骨視頻内容的可能性。
在安全方面，自 2024 年 2 月發布 Sora 以來，OpenAI 與來自 60 多個國家 / 地區的數百名視覺藝術家、設計師和電影制作人合作，以獲得有關如何推進該模型以對創意專業人士最有幫助的反饋。
▲動畫師上傳微縮模型圖片後生成的視頻
OpenAI 采用了以下形式，作爲 Sora 向用戶顯示其請求輸出之前采取的安全緩解措施：
通過多模态審核分類器進行文本和圖像審核、自定義大語言模型篩選（定制 GPT，利用視頻生成的時間窗口，對某些特定主題高精度審核）、圖像輸出分類器、 黑名單（提前設置文本阻止列表）。
當前 OpenAI 屏蔽了一些特别有害的形式，如兒童虐待、深度性僞造等。這些題材上傳會被限制。
OpenAI 稱其分類器非常準确，但偶爾可能會錯誤地标注成人或非現實的兒童圖像。他們也承認研究和現有文獻強調了年齡預測模型存在種族偏見的可能性。
接下來幾個月裏，OpenAI 團隊将緻力于提高分類器的性能，最大限度地減少誤報，并加深其對潛在偏差的理解。
爲了确保 Sora 技術被負責任的使用，所有 Sora 生成視頻均附帶 C2PA 元數據。它将識别視頻是否來自 Sora，以提供透明度，并可用于驗證來源。OpenAI 默認添加了可見水印等保護措施，并構建了一個内部搜索工具，該工具使用第二代的技術屬性來幫助驗證内容是否來自 Sora。
結語：Sora 仍有很多局限性
正在部署的 Sora 版本有很多限制，通常會産生不現實的物理效果，同時長時間複雜動作仍具挑戰性。
OpenAI 仍在努力使每個人都負擔得起這項技術。該團隊希望 Sora 早期版本能讓世界各地的人們探索新的創意形式，講述自己的故事，并突破視頻講故事的可能性。
對于視頻創作者來說，Sora 的到來無疑是最頂的聖誕節禮物之一。很期待看到世界将用 Sora 創造出什麽。
