注意看,這個機器人對抗人類的視頻,在網上徹底火了。
那叫一個拳拳到肉,刺激程度引得圍觀群衆大呼鵝妹子嘤。
好消息是,這個機器人并非真實存在。
但另一個不知道是好還是壞的消息是,這樣的特效,是 AI 一鍵合成的。
就是說,從左邊這樣的人類實拍,到右邊這樣的特效畫面,人類需要做的,隻是用鼠标把模型拖到畫面裏。
這個 AI 神器,名叫Wonder Studio AI。
剛發宣傳片時,就曾引發 wo cao 聲一片。
現在内測名額開始發放,網友們上手一玩,更是停不下來,直接在社交媒體上刷了屏。
比如随手來一段比波士頓動力還動感流暢的男團熱舞。
或者在自個兒屋裏來段 freestyle。
↑↑↑這個作品的作者還透露,這是一個原本需要三天完成的視覺特效鏡頭,現在隻需要 1 分鍾。
也難怪網友們坐不住了。
無需動捕設備,一鍵生成 CG 動畫
有關Wonder Studio,官方的說法是," 一種可自動爲 CG 角色制作動畫、打光,并将其合成到真實場景中的 AI 工具 "。
按照官網說明,對于用戶來說,在 CG 動畫制作階段,你不再需要複雜的 3D 軟件,也不需要昂貴的動捕硬件。
隻需一台用來拍攝的相機,拍好視頻後丢進 Wonder Studio 處理,就足以以假亂真。
具體步驟是這樣的:
首先用相機拍攝一段視頻,視頻中,真人演員可以随意做出任何動作;
将 MP4 或 MOV 等格式的視頻導入Wonder Studio,并選定需要處理的視頻段落,拖入中間區域等待處理;
點擊菜單欄的 next 按鈕,AI 開始識别和分析視頻中的人物;
選中右側選項欄中所需要的 CG 模型,拖拽至需要替換的人物區域;
這時候會跳出一個小框,能夠根據需要調整HDR 打光、畫質清晰度、視頻格式等。
最後,選擇解算生成,就能完成視頻段落中 CG 模型對真人演員的替換。
對于專業人士來說,除了最終成品,Wonder Studio 還能導出新視頻的不同軌道,包括動作捕捉、攝像機跟蹤和空鏡等等。
面對需要修改的細節,也可以直接上手微調。
傳統的 CG 制作流程,需要移除原有人物、把需要替換的 CG 元素導入引擎或 Blender 等軟件當中、根據相機解算結果進行合成、匹配燈光、渲染……最終把新的 CG 模型放到視頻場景中。
比較而言,用上 Wonder Studio 後簡化了很多工序,也難怪很多人評論,如果這個工作流跑通,是十分利好小成本影視制作的。
不過,Wonder Studio 并非十全十美。
主要體現在 CG 模型覆蓋原人物後,CG 角色和背景銜接處處理不算優秀。
比如會出現美顔瘦臉特效開太大,以至于臉部周圍背景扭曲的情況:
而且,CG 模型的邊緣像素會被拉伸,原人物的衣物等不能做到 100% 消除和被覆蓋:
開頭展示的爆火視頻中,其實也有不少穿幫鏡頭。
所以,雖然效果強大操作簡單,目前而言,Wonder Studio還是不能單獨放到實際項目中使用,否則一眼驚豔,再看露餡。
但其展示的潛能,已經得到内測網友的蓋章肯定。
有内測網友反饋,在他的幾次測試中,Wonder Studio能夠自動化 80% 的視覺特效工作。
它仍存在一些困難的領域,但它提供的價值主張是,隻需要付出很少的努力就能做出相當不錯的東西。
而且這隻是開始!它還會變得更好!
《頭号玩家》男主創業項目
有意思的不止是産品,Wonder Studio 背後的公司,也頗有故事。
它的出品方是一家名叫Wonder Dynamics 的 AI 初創公司,緻力于通過 AI 提高電影制作的效率和質量。
截至目前,公司在種子輪和 A 輪一共募集了1150 萬美元融資。
Wonder Studio 是他們籌備 3 年後,推出的一款基于 AI 的在線視頻特效處理平台。
公司已經表示,Wonder Studio 後續還将繼續簡化動作捕捉和渲染環節,繼續提高制作效率。而且在公司的設想中,創作者在将來還能在系統自由上傳自己的 3D 模型。
再來看公司創始團隊,不少人是熟面孔。
比如世界聞名的導演斯皮爾伯格,就是這家公司的顧問。
而公司創始人之一,是《頭号玩家》男主演泰爾 · 謝裏丹。
(不知道是說男主 " 幹一行愛一行 " 好呢,還是說他 " 積極緻力于用 AI 搶自己飯碗 " 好,)
還有消息稱,美國導演組合羅素兄弟正在拍攝的一部電影中,Wonder Studio 已經參與了部分制作環節。電影主角是《怪奇物語》主演 Millie Bobby Brown 和《銀河護衛隊》中星爵的扮演者 Chris Pratt,電影将上線 Netflix。
期待電影之前,更值得關注的一點是,最近這段時間,AI 力量對視覺領域瘋狂下手了。
這就不得不提到近日在科技圈瘋狂刷屏的 Meta 大殺器,Segment Anything Model (SAM)。
該模型驚豔世人的能力,就是能夠識别和分離圖像及視頻中的特定對象。使用 SAM,用戶可以通過單擊或輸入文字,來選中需要編輯的任何物體。
Meta 在介紹 SAM 時寫道:
SAM 已經學會了關于物體的一般概念,并且,它還可以爲任何圖像,或視頻中的任何物體生成 msak,包括訓練集中不包含的類型。
SAM 足夠通用,且在新的圖像領域無需額外訓練,達到即開即用。
這種零樣本遷移的能力,正是 GPT-4 能力驚人的重要原因之一。因此,國内外不少媒體稱 SAM 的發布爲 CV 領域的 ChatGPT 時刻。
目前,SAM 已經開源,并進一步提供了其 10 億掩碼數據集的完整細節,
Meta 官方的說法是,随着技術發展,SAM 可以成爲 AR、VR 等更通用系統的強大組件。
聯想到今天介紹的 Wonder Studio,接入 SAM 能力後,對原有人類圖像的分割,是不是就不再會出現裙角被遺漏的情況了?
内測申請地址:
https://docs.google.com/forms/d/e/1FAIpQLSdLY3_MQuMEqBy-MZCyXHoPe2YK5BUiSQecjCt0eLUQCux4qA/viewform
參考鏈接:
[ 1 ] https://twitter.com/shota7180/status/1644815889576128512
[ 2 ] https://twitter.com/wonderdynamics/status/1644376317595615233?s=46&t=HBob6gxh8cOfZTIbieKeSA
— 聯系作者 —