Sora 要被集成在 Adobe 視頻剪輯軟件裏了。
在最新發布的 Premier Pro 概念演示裏,Adobe 展示了與 OpenAI 合作的探索成果:
在主鏡頭之外,完全由 Sora 生成一段 B-roll 輔助鏡頭。
除了 Sora 之外,其他流行 AI 視頻工具Runway和Pika也将作爲可選項。
其中 Runway 在演示中與 Sora 用法類似,可以生成一段全新的輔助鏡頭。
Pika 則可以做到将現有鏡頭自然延伸數秒。
需要強調的是,這些功能還處于早期預覽和研究階段,尚未透露何時發布。
與之相比,由 Adobe 自己的 AI 産品Firefly支持的功能确定性更強一些。
專業剪輯師無需離開 Premiere Pro,就能輕松在視頻中添加和删除物體,以及在時間軸上擴展素材。
今年之内,視頻剪輯工作流将正式進入 AI 時代。
Adobe 這次的宣傳片,主要展示了三大 " 功能 "。
首先是向視頻的局部添加對象,加入新的物體。
視頻畫面中,男人緩步走向女人,随後女人轉身打開了一個放在汽車後備箱上的手提箱。
定睛細看,箱子裏裝着的是一些零散的鑽石。
隻要點擊 " 添加物體 " 按鈕,然後選擇目标區域,輸入提示詞,原本隻有少數的鑽石,數量便增多了,填滿了整個箱子。
并且後續畫面也都發生了相應的改變,随着鏡頭的輕微移動,鑽石也随之自然變化,完全看不出有破綻。
除了這樣的 " 加法 "," 減法 " 操作——删除視頻中的已有物體—— Premier 也會做。
在智能魔法棒的加持之下,隻需一點就能自動識别出整個物體,而不像是普通的魔法棒隻能選擇顔色相近的區域。
識别完成後,也隻需一鍵就能完成物體的消除,相應區域的背景也會自動補全。
牆上的展闆、地上的物體,都能一鍵去除,看不出有東西曾經存在的痕迹。
在一 " 加 " 一 " 減 " 之間,物體的替換也随之實現。
視頻裏的男人換上了一塊新的手表,能夠跟随手腕移動,視頻裏的其他部分則沒有受到影響。
能夠一鍵實現這些效果,确實十分強大,不過這種瞄準局部細節的操作,但更厲害的,還有視頻擴展。
當你發現時間線中還有所空缺,又不知道該放些什麽素材時,Premiere 可以直接生成内容來填補這塊空白,隻需一點一拖即可完成。
效果上看,可以說是無縫銜接。
最關鍵之處在于,所有 AI 生成結果對原始素材都不是破壞性的。
随時可以回滾到初始版本,或在不同 AI 模型結果直接切換。
此外 Adobe 還提供了 " 内容憑證 " 功能,所有由 Premiere Pro 制作的視頻都将清楚地表明是否使用了、以及使用了哪種 AI 技術。
以上種種功能尚未确定發布日期,除了将在今年内發布之外,沒有透露更多信息。
另外,Adobe 創意專業應用産品營銷副總裁 Deepa Subramaniam 表示,Adobe 尚未解決使用第三方 AI 工具所産生的收入将如何在 Adobe 和合作夥伴之間分配的問題。
爲了訓練自己的 AI 視頻模型,Adobe 正在從攝影師和藝術家手裏購買視頻片段。
包括表現人們日常活動、以及表達各種情緒的短片,每分鍾支付 2.62-7.25 美元。
通過這種方式,Adobe Firefly 将确保 AI 生成内容是可安全商用的。
最後,附上完整演示視頻。
參考鏈接:
[ 1 ] https://www.youtube.com/watch?v=6de4akFiNYM
[ 2 ] https://blog.adobe.com/en/publish/2024/04/15/bringing-gen-ai-to-video-editing-workflows-adobe-premiere-pro