這,絕對稱得上是生成式 AI 進程中的裏程碑。
就在深夜,Runway 家标志性的 AI 視頻生成工具Gen-2,迎來了 "iPhone 時刻 " 般的史詩級更新——
依舊是簡單一句話輸入,不過這一次,視頻效果一口氣拉到了4K 超逼真的高度!
話不多說,我們直接來看炸裂的效果:
不難看出,這一次 AI 生成視頻的效果已經克服了以往 " 一眼 AI" 的缺點,即不連貫、閃爍變形以及低清等等。
而這也正是 Gen-2 這次史詩級更新的内容重點:
在文生視頻和圖生視頻中,爲結果的保真度和一緻性帶來了重大改進。
雖然 Runway 在官方說法中隻是輕描淡寫地描述爲 " 發布了一項更新 ",但在許多網友看來,這堪比一個大版本的叠代。
很多人在看到視頻效果之後,已然是處于沸騰、燃爆的狀态。
例如一位人工智能電影制作人将其稱之爲" 徹底改變遊戲規則 "。
另一位生成式 AI 專家也認爲:
這是生成式 AI 的關鍵時刻。
要知道,現在距離 Gen-2 正式發布也僅僅過了 4 個月(今年 6 月)而已,這不得不讓人感慨 AI 進步、叠代的速度。
正如公衆号 " 數字生命卡茲克 " 給出的評價:
人間一天,AI 一年。
值得一提的是,Gen-2 此次的重磅更新,是在網站和 APP 上同步進行的。
那麽接下來,我們繼續深入體驗一下新 Gen-2 的炸裂效果。
0 成本生成超級大片
現在,無論你是在網站或是 APP 上體驗,隻要用的是 Gen-2,那麽生成視頻的結果,就是基于它最新的能力。
這不,一位網友就火速拿着 Gen-2,配上小曲兒,秒生成了一部高級感滿滿的時尚廣告大片:
這顔色,這模特,這角度,廣告大片算是被 Gen-2 穩穩拿捏住了。
還有下面這種高級 MV 鏡頭既視感的視頻,也是不在話下:
再如這種腦洞大開、創意十足的科幻電影片段:
講真,當看到這些 Gen-2 生成的逼真 4K 視頻,我們也是被狠狠地吸引住了。
于是乎,我們也決定親自體驗一把。
操作上可以說是極其的簡單,進入 Runway 官網,點擊"Text to Video",再選擇 "Gen-2",便可來到文本輸入界面:
我們測試的文本内容是這樣的:
Interstellar travel,surreal.
星際旅行,超現實主義。
在靜候幾秒之後,AI 視頻就出爐了:、
有一說一,其實 Gen-2 的結果跟我們原本在腦海中的設想是有些出入(以爲會是宇宙星空背景的星艦)的。
但無論是場景亦或是飛船的樣式,都給人一種耳目一新、别出心裁的感覺。
這對于創意工作者來說可謂是一種福利了,靈感枯竭的時候,不妨讓 Gen-2 幫你想想。
而在圖生視頻(Image to Video)能力上,有網友拿着PIKA這位 AI 生成視頻頂流,跟 Gen-2 做了一番比較。
從整體結果上來看,Gen-2 目前無論是在畫質的清晰度,視頻的流暢度等方面,都是更勝一籌。
BTW,手機體驗最新 Gen-2 也是相當方便的哦 ~
半年徹底改寫遊戲規則
本次裏程碑式更新,雖然沒有帶來新的功能,但在真實性和一緻性上的飛躍,使得最新版本的 Gen-2 依舊是一款劃時代的産品。
雖然 Gen-2 的有關論文還是 coming soon,但可以确定它是在 Gen-1 的基礎模型之上改進得到的。
相比于傳統的文本控制擴散模型,Gen 通過文本、圖像、視頻混合的訓練模式,提高了生成視頻的質量和一緻性,同時還降低了訓練消耗。
同時,Runway 還提出了延時擴散模型,在預訓練的擴散模型中引入時序層,使得模型在推理階段具有更高的時間一緻性。
Runway 在宣傳片中用三組對比展示了 Gen-2 的這種顯著變化。
盡管官方還未給出具體的測試數據,但 Gen-1 的用戶偏好在 Runway 的一項用戶調查中就已經擊敗了 Stable Diffusion 1.5 和 Text2Live。
Gen-2 是于今年 3 月開始測試,6 月正式向公衆發布的。
與 Gen-1 不同的是,前者通過現有的視頻片段結合文字指導進行合成,而 Gen-2 則可以隻用文字、圖片或兩者結合來生成。
此外,Gen-1 中的風格變換、蒙版、模型定制等功能也在 Gen-2 中得到了保留。
發布半年以來,Gen-2 已經經曆了多次更新。
8 月,Runway 将 Gen-2 生成視頻的最大長度從 4 秒提升到了 18 秒,這樣的長度在 AI 視頻生成工具中前所未有。
9 月,Runway 又官宣 Gen-2 新增了導演模式,可以控制 " 鏡頭 " 的位置和移動速度。
此後不久,Gen-2 又新增了 "Motion Slider" 的功能,可以調節視頻中的動作幅度。
這幾次大大小小的更新,讓這款視頻生成工具走向頂流,最終震撼了整個行業。
創始人:創意軟件已死
随着 Gen-2 的更新,對影視和創意行業帶來了不小的沖擊。
Runway 創始人兼 CEO Crist ó bal Valenzuela 更是在中表示," 創意軟件已死 "。
Valenzuela 進一步解釋到,盡管過去人們可以手工 " 操縱像素 ",但人工智能創作工具可以讓人們隻用自然語言和參數調節就完成創作,這是傳統的(創意)軟件無法做到的。
最後,Valenzuela 再次強調,一個激動人心的新(創意)時代就要開始了。
在 Valenzuela 的這篇帖子中,有很多網友表示了贊同,直言這些模型現在就畫筆。
而這位創作者雖然沒有直接誇贊,但回憶起了以往每次花六個月制作視頻的經曆,仿佛一切盡在不言之中……
最後,體驗地址放下面了,感興趣的小夥伴們快去嘗試吧 ~
Gen-2 體驗地址:
https://research.runwayml.com/gen2
參考鏈接:
[ 1 ] https://twitter.com/runwayml/status/1720064304374792615?s=20
[ 2 ] https://twitter.com/hashtag/Gen2
[ 3 ] https://venturebeat.com/ai/runways-gen-2-update-is-blowing-peoples-minds-with-incredible-ai-video/