MinMax 海螺 AI 新模型,讓 2D 角色動起來了!
日漫、遊戲、插畫等各種風格的靜态人物,都可以絲滑地轉變成生動的 2D 風格視頻。
量子位也馬上上手實測了一波——
首先請出今年的頂流悟空先生,輸入下面的 prompt(輸入時是英文,此處意譯):
悟空在波濤洶湧的海面上準備戰鬥,金箍棒閃着金光,衣擺随風被吹動,氣氛緊張
來看看海螺的生成效果:
不得不說,還真有大片裏面戰鬥即将開場的即視感了!
随後,我們以經典動漫《你的名字》的海報爲例,輸入了以下 prompt:
男孩和女孩轉過身面對對方,表情很觸動,眼中含有淚水,逐漸靠近并最終擁抱在一起。
最終的生成效果真的很贊。
連人物動作的一些停頓感都把握到了。還有 AI 最不擅長的頭發問題,視頻中的效果也沒有太多違和感。
最後再來一個抽象的(doge):
鳴人向哆啦 A 夢索要草帽,一個女孩拿着草帽和哆啦 A 夢一起出場,然後柯南在一邊思考。
輸入圖像:
來看看海螺的生成效果。
視頻中把鳴人、哆啦 A 夢、草帽這幾個要素都自然地組合在了一起,不過因爲 prompt 中柯南用的是 conan 這個說法,它還沒能完全理解。視頻整體還是非常自然的,可以看到一些衣擺和頭發的運動都很生動。
Hailuo I2V-01-Live 是海螺Image-To-Video系列的最新模型,在生成畫面的流暢性和動作的生動連貫性上有很大提升。
它主要針對穩定性和細微表達進行了優化,還支持非常豐富的美術風格,可以生成更流暢和精緻的作品。
更多網友作品
網友們見狀自然是按捺不住,馬上創作了很多作品。
比如最近超火的《雙城之戰》中的 Jinx 舉牌:
對比之前的 I2V-01 模型,人物的動作都順滑了很多,體驗就像是從 24 幀提升到了 60 幀。
更複雜的插畫和水彩風格也輕松拿捏了:
再比如知名博主海辛 Hyacinth 嘗試的中世紀插畫風格:
還有類似經典動漫《超時空要塞》風格的飛船片段:
自帶鏡頭調度的經典日本動漫風格 + 武士元素:
甚至連水墨風格、插畫風格、熟悉的迪士尼 3D 風也都可以:
國産 AI 視頻模型之光
提到 MinMax 的海螺 AI(Hailuo),事實上已經在外網的視頻創作社區裏火了很久了,是這一波國産 AI 視頻模型裏面絕對的國産之光!
在Vbench(知名視頻生成模型的測試基準)的多個維度上,它都名列前茅,尤其是在畫面的生成質量維度上,拿下了第 3 名的好成績。
此前也經常被國内外網友用來搞一些奇怪的meme或者影視劇二創。
比如惡搞《黑客帝國》:
還有專業電影導演Dave Clark 用海螺生成非常有質感的科幻電影片段:
多位網友表示,海螺模型的優點主要是生成表情更細膩和動作更流暢方面。
一起看點例子感受一下:
比如下面這個國外爆火的視頻,畫面的女人瞬間就從大笑變成了掩面哭泣,但是變化過程非常自然,看着還很有代入感:
仔細觀察還能看到小姐姐的眼眶的淚光逐漸增加,還有眉頭慢慢皺起的過程,這演技絕對影後級。
生氣、傷心、害怕、驚訝……多種表情都可以快速生成:
再看看下面這個海螺生成的奔跑畫面,作者表示,不僅生成更加自然,而且在角色的一緻性控制上也非常完美。
One More Thing
在圖像和視頻生成模型的下半程,海螺專注發力二次元風格,而其他各家公司也都開始主打 " 風格化 "、" 差異化 "
比如 Runway 的 frames 功能,可以聯動修改多個相關畫面:
還有最近爆火的 recraft 的複古膠片風圖像:
以及剛剛開源的騰訊混元的寫實主義:
有藝術家評論道,以後挑模型就像是在挑選不同風格的相機品牌一樣了,真的很有趣!
參考鏈接:
[ 1 ] https://x.com/Hailuo_AI/status/1863961575574622662
[ 2 ] https://huggingface.co/spaces/Vchitect/VBench_Leaderboard