前兩天世超不是剛寫了 Runway 塗一塗就能動的功能麽,沒想到這熱乎勁還沒過去,就又有新産品來炸場了。
這次的主角,是一個名叫 Pika 的視頻生成模型。
這家公司今年四月才成立,别看它初出茅廬,它已經融資到 5500 萬美元,連 OpenAI 的科學家都出來開啓了誇誇模式。
甚至其中一個創始人爸爸的上市公司,還在 Pika 的爆火下漲停了,真就父憑女貴。。。
世超也聞着味兒,直接去了他們的官網,想一探究竟。
結果,他們的宣傳視頻,上來就把我給唬住了。
它除了丢一張圖片進去就能生成一段視頻之外。
還能靠一兩句提示詞就生成一個視頻。
比如讓它生成一個在太空裏講話的 3D 動漫的老馬。
這臉型、這神态,估計是連馬斯克本人看到都會直呼牛 X 的程度。
丢段視頻進去, Pika 也能根據提示生成新的内容。
像演示裏,丢個騎馬小夥的剪影視頻進去,根據提示詞就能生成對應的風格。
并且把現實風、 3D 卡通風、像素風各種風格拼接在一起後,之間的切換無比絲滑,整個過程裏騎馬的動作絲毫沒有變形。
隻要鼠标輕輕拖拽一下,框出視頻裏要修改的元素,分分鍾就能給小姐姐來個換裝,順便給黑猩猩帶個墨鏡。
有一說一,就上面那些演示的功能和效果,幾乎可以把一大部分視頻生成 AI 吊起來打了。
但,上面這些官方給出的演示視頻,大家 dddd 。
實際和演示的有哪些差距?老樣子,世超先替你們測評一波。
現在正式網頁版的還得排隊,我們隻能先在 Discord 社區裏體驗一下 " 閹割版 " 的,隻有文字生成視頻和圖片生成視頻兩大功能。
打開 Discord 裏面的 Pika 社區後,整個界面的主體就是入門介紹了,左邊有個 " CREATIONS " 的下拉入口,裏面的 10 個生成入口,随便進一個都可以體驗。
用的時候也很簡單,打個 " / " ,會自動彈出後綴, Pika 的主要兩大功能就是 /animate ( 圖片生成視頻 )和 /create ( 文字生成視頻 )。
選擇模式之後,就跟用 ChatGPT 一樣,打字或者輸入圖片講需求就行了。
雖然這個 Pika 不像 Runway 有專門的參數調節欄,但想要調節參數它也是可以的,直接加後綴就行。
并且這個 Pika 能調節的參數也不少,這次新發布的功能就有個調節鏡頭的選項。
像什麽放大畫面、縮小畫面、上下左右移動、各種方向旋轉 …… 都能調,就跟當導演一樣。
其他的參數還有幀數、畫面變化的幅度、視頻比例等等,也都是在提示詞後面加個 " - " 說要求。
了解完參數,就能直接開玩了,世超先試了試圖片生成視頻的功能,丢給了它一張正在下雪的圖,大概等個一分鍾左右就好了。
效果看起來也還不錯,不過 Pika 這個體驗版一次最多就隻有 3 秒,有點意猶未盡的感覺。
接下來再丢個整個上次用 Runway 試過的經典梗圖,雖說 Pika 的畫面是糊了點,但就動作連貫性來說,它還是略勝一籌了,起碼沒當街表演換裝,而且走路的節奏也很正常。。。
Pika ( 上 )和 Runway ( 下 )效果對比
不過也有翻車的時候,還是上次試過的一個案例,讓下面這位長發美女的頭發飄逸起來, Runway 效果還算不錯。
但 Pika 這邊就不太對勁了,她頭發不飄起來我都還不知道裏面竟然還能藏個人頭,好好的一張圖立馬變鬼片。。。
世超還在提示詞後面加了個 " -camera rotate clockwise " ,試了試 Pika 這次新出的 " 鏡頭控制 " 參數,讓畫面順時針旋轉起來。
乍一看還算不錯,但遺憾的是這些蝴蝶沒在鏡頭旋轉的時候撲騰兩下,而且方向還轉錯了。
試完了圖片生成視頻的功能,咱們又試了下文字生成視頻。
世超發現,對于一些小幅度動作或者簡單動作的要求, Pika 生成的效果還不錯。
比如讓 Pika 生成個 1 :1 畫面的貓貓睡覺視頻,算是中規中矩。
但隻要涉及到要四肢協調運動,或者手部細節時,那可是槽點滿滿了。
讓一個 3D 版的馬裏奧跑個步,這手腳頻率不同步就算了,但腿怎麽還換來換去,而且一個手四指,另一個手五指。。。
還有讓邁克 · 傑克遜跳個舞,前一秒還覺得這次有戲能成,結果後一秒突然長了兩個小胳膊。
有趣的是,我還去扒了扒官方演示裏的提示詞去試,結果隻能說太抽象了。
馬斯克那個完全沒有演示視頻裏的效果,大家直接看效果吧,很難評。。。
還有機器人走路的提示詞,演示圖是這樣的:
試了太多次沒啥比較好的案例,世超又去翻了翻社區裏大家生成的視頻,還跑到了官方給出的優秀案例庫看了看,結果發現,沒啥好效果還真不是我個人的原因。
大家用 Pika 生成效果好的,大部分都是畫面部分元素閃爍、或者沒啥動作幅度的視頻,隻要動作幅度大一點,缺點就全都暴露出來了。
下面這個還是收在優秀案例庫裏的,小腿那邊看着也都有點奇怪。。。
總的來說,就單在 Discord 上的體驗來看, Pika 的效果一般,和上次在 Runway 的效果差不多,有好有壞。
不過,之後正式版 Pika 的功能還會更多,說不定到時候演示圖裏的上傳視頻,修改視頻局部的功能也都能用上了。
現在回過頭來看最近幾個月, AI 生成視頻的模型幾乎都紮堆出來更新了,像是 Runway 、 Stability AI 還有 Meta 等等,都發了新的生成視頻的模型。
雖然目前市面上的這些 AI ,效果看起來還達不到标準視頻的水準,但隻要稍微了解下 AI 生成視頻的發展,就會發現,最近的這波更新進步已經是非常大了。
像前幾個月用 AI 生成的視頻時,連帶着背景都還在不斷變化,而現在,背景已經穩定多了。
這還隻是短短幾個月的成果,或許再過幾個月,這波模型再來一次大更新,到時候的效果又會是另一番景象。