号稱可以一句話拍大片的 AI 視頻生成工具Gen-2,開始露出廬山真面目。
有推特博主已經率先拿到了内測資格。
這是他用提示詞" 一個身材勻稱 or 對稱(symmetrical)的男人在酒吧接受采訪 "生成的結果:
隻見一個身着深色襯衣的男人正望着對方侃侃而談,眼神和表情透露着一股認真和坦率,對面的人則時不時點頭以示附和。
視頻整體非常連貫且畫質很是清晰,乍一看,真實訪談感滿滿有沒有!
同樣的提示詞生成的另一個版本也不賴:
這次鏡頭更加拉近,背景更逼真,人物則仍然富有表現力。
有網友看完這組作品直呼:
太不可思議了吧,隻靠文字提示就能生成這樣的結果!
還有人直言:
這是視頻領域的 Midjourney 來了。
博主實測 Gen-2
這位博主名叫 Nick St. Pierre,專門在推上分享他用 AI 制作的作品。
除了開頭所見的寫實風,他還發布了一組 Gen-2 的科幻作品。
比如 " 宇航員穿越太空 ":
" 一名武裝士兵沿着宇宙飛船的走廊奔跑,身後一道黑影摧毀了牆壁 ":
" 一家在人類動物園吃微芯片的機器人 ":
" 人形機器人大軍在冰凍的平地上進行殖民 ":
(有種權遊裏面異鬼大軍進擊長城的氣勢……)
" 地球上最後一個人看着入侵的宇宙飛船降落在東京上空 ":
……
以上這些全部都隻憑一句提示詞就能完成,不需要借鑒其它圖片和視頻。
雖然說這組科幻的效果相比 " 酒吧男人接受采訪 " 稍顯遜色,但神奇的是,它和 AI 圖像生成模型誕生之初的那種 " 混沌不清 " 的味道可以說不相上下——仿佛看到了 Stable diffusion 等 AI 當時的影子。
如 Nick St. Pierre 表示:
Gen-2 還處于嬰兒期,後面一定會更好。
我們也在網上找到了其他已經拿到内測資格的人測試的一些效果:
可以說,除了比較難的科幻作品,其它它拿捏的都還不錯的亞子。
AI 視頻生成也狂飙
專攻視頻生成的 AI 工具 Gen-2 于 3 月 20 日發布(論文 3 月 11 号)。
作爲 AIGC 領域的新秀,它的叠代速度和質量也是相當快了:
Gen-1 版本 2 月才剛誕生,那會還隻能對已有視頻進行編輯;
現在 Gen-2 就已經可以用文字和圖像作爲提示詞直接生成視頻了。
官方号稱它爲 " 生成式 AI 的下一步 ",宣傳語給的也是很霸氣:
say it,see it。(隻要你能說出來,我就能讓你看到)
Gen-2 的更新一口氣帶來了八大功能:
文生視頻、文本 + 參考圖像生視頻、靜态圖片轉視頻、視頻風格遷移、故事闆(Storyboard)、Mask(比如把一隻正在走路的小白狗變成斑點狗)、渲染和個性化(比如把甩頭小哥秒變海龜人)。
它的出現和 AI 繪畫一樣,讓人看到了影視、遊戲和營銷等領域暗藏的巨大變革。
其背後開發公司也值得說道,它就是 Runway。
Runway 成立于 2018 年,爲《瞬息全宇宙》特效提供過技術支持,也參與了 Stable Diffusion 的開發(妥妥的潛力股)。
提示:Gen-1 已經可以開始玩了 ( 125 次機會用完之後就隻能按月付費了),Gen-2 還沒有正式對公開放。
除了 Gen 系列,微軟亞研院還最新發布了一個可以根據文字生成超長視頻的 AI:NUWA-XL。
隻用 16 句簡單描述,它就能 get 一段長達 11 分鍾的動畫:
在往前一點兒,就在 Gen-2 發布同一天,阿裏達摩院也開源了 17 億參數的文本轉視頻 AI:
效果是醬嬸的:
可以預見,不止圖像生成,視頻領域也要變得熱鬧起來了。
咳咳,所以下一波大衆 AI 狂歡,會是它嗎?
參考鏈接:
[ 1 ] https://twitter.com/nickfloats/status/1644540896321437696
[ 2 ] https://twitter.com/nickfloats/status/1644081726141132800
[ 3 ] https://research.runwayml.com/gen2
[ 4 ] https://twitter.com/c_valenzuelab/status/1645158717766115328
[ 5 ] https://modelscope.cn/models/damo/text-to-video-synthesis/summary
[ 6 ] https://nuwa-infinity.microsoft.com