随手用鼠标一塗,圖片裏的東西就跟着動起來。
這種堪稱馬良神筆的操作,真實地在我們的生活中發生了。。。
而這一切,都是通過一家名叫 Runway 的視頻制作網站完成的。
如果有熟悉這家公司的朋友就會知道,他家之前還給電影《 瞬息全宇宙 》做過特效。
今年年初,他們也靠着文生視頻的功能,在 AI 圈打出了名聲。
而這次更新, Runway 則又推出了一個名叫 Motion Brush ( 運動畫筆 )的 " 王炸 " 功能,隻要塗一塗,圖片秒變視頻,算是刷新了世超對于 AI 生成視頻工具的認知。
從 Demo 的效果來看,跟耗資上百萬美刀的動畫制作相比,雖然不能說一模一樣,但也有個七八分像了。
反正我看完,是再一次被 AI 的進化速度給震驚到了,照這麽發展下去,以後拍電影拍動畫哪還用得着人啊?
但 Demo ,往往都要比咱們上手試出來的效果要好很多。
所以,爲了看看這個運動畫筆到底咋回事兒,還是老樣子,世超先替你們測評一波。
從官網打開 Gen-2 ,頁面是這樣兒的。
不過,生成視頻并不全是免費的,在開始之前官方會彈出一個說明,一共 525 個積分, 1s 算 5 個積分,按照一個視頻 4s 來算,咱們能白嫖到 26 個。
接下來,咱們像這樣先上傳一張照片,或者也可以用圖片 + 文字描述結合的方法。
下面,就有一個 " Motion Brush " 的 BETA 版按鈕。
點進去,左上角可以調整畫筆和橡皮擦的大小,下面的三個參數值分别代表向左向右、向上向下以及離鏡頭的距離遠近。
這裏可能得注意一下,不是隻要用畫筆塗了就萬事大吉,參數的調整也同樣很重要。
不然,你可能會得到一個像這樣奇奇怪怪的視頻。。。
一開始的失敗作品
像這張圖,我想要呈現出來的是銀杏葉子随風飄落的畫面,用畫筆把一些葉子塗抹之後,再把吹落的方向往左下方調一調。
參數調完,點擊生成等個 1 分鍾差不多就好了。
看看這效果,我隻想說:媽媽,我要去拍電影!
說真的,我覺得這次 Runway 的更新有點過于強悍了。。。
包括頭發還有海浪,效果也都不錯,重點在于,整個過程操作下來不過 2-3 分鍾,新手完全無壓力。
如果想調整相機的角度,運動畫筆旁邊還有個 Camera Motion ,可以控制鏡頭的移動、變焦等等,就跟拍電影似的。
比如這個視頻,我設置相機的鏡頭往右移,生成出來的東西我叫它《 梵高爆改貝克漢姆 》。
雖然生成出來的東西,似乎已經跟梵高沒啥關系了,但從面部輪廓、光線的變化來看,效果還是不錯的。
還有這個老馬烤肉,很多細節上看着很奇怪,但到這爲止,其實都還算是正常的。
但是用着用着,我發現 Gen-2 的生成主打的就是一個看心情。
這張經典的 meme 圖,大夥兒應該都眼熟吧?
我本來是打算借着 Gen-2 給這位老哥來一個 " 華麗 " 的轉身,但沒想到,全都亂了套了。
襯衫小夥兒變 POLO 衫大叔、女人的白眼、女朋友當街變裝,要素太多,甚至不知道該從哪裏開始吐槽。。。
接着,我又用另外一張蜘蛛俠的圖片試了試,這次想要的效果是蜘蛛俠在空中飛起來。
爲了防止出岔子,我還多加了一句文字描述。
結果,還是翻車了。
移動效果是有的,隻不過這個蜘蛛俠後面已經完全變形了。
而且翻車的還不止這一個,像這張圖生成出來的東西,更是重量級。
想象中:海浪拍打着沙灘,海風吹着女孩的頭發和裙子,女孩轉身往另一邊。
現實裏:鬼啊!!
這 AI ,是直接把人當煙給飄走了。。。
試用下來,我覺着這個運動畫筆在處理一些簡單的自然風景上還是不賴的,但圖片要素一多,就容易在細節上出問題。
從一個剛剛上手的新人角度來說,想要把 Gen-2 調教好可能還需要一些門檻。
世超在這裏給個小建議,如果想要生成視頻的效果不那麽離譜,除了用畫筆塗、調整參數以外,最好還是用文字再描述一遍。
還有大夥兒應該也能看出來, Gen-2 生成出來的視頻速度是很慢的,流暢度也沒那麽絲滑。
總的來說,好壞參半吧。
不過,從年初開始,像 Gen-2 這類的 AI 生成視頻工具,其實已經進化得很快了。
今年 8 月,有位老哥還用 Runway 手搓出了一部《 流浪地球 3 》的預告片。
包括 Stability AI ,最近也發布了開源 AI 視頻模型 Stable Video Diffusion 。
咱們看待技術發展的眼光,或許可以寬容些。
畢竟, AI 繪畫剛出來的時候,在生成結果的穩定性、可控性還有細節描述能力上,也鬧過不少笑話。
從文生視頻到圖生視頻,從單一模态到多模态,現在的 AI 生成視頻有點在爆發前夜的感覺。
去年差不多也是這個時候, Stable Diffusion 、 Midjourney 等一衆 AI 繪畫工具爆火,都說人間一天, AI 一年,明年說不定就輪到視頻了。