機器之心報道
作者：陳萍、張倩
視頻 PS 可以靈活到什麽程度？最近，微軟的一項研究提供了答案。
在這項研究中，你隻要給 AI 一張照片，它就能生成照片中人物的視頻，而且人物的表情、動作都是可以通過文字進行控制的。比如，如果你給的指令是「張嘴」，視頻中的人物就會真的張開嘴。
如果你給的指令是「傷心」，她就會做出傷心的表情和頭部動作。
當給出指令「驚訝」，虛拟人物的擡頭紋都擠到一起了。
此外，你還可以給定一段語音，讓虛拟人物的嘴型、動作都和語音對上。或者給定一段真人視頻讓虛拟人物去模仿。
如果你對虛拟人物動作有更多的自定義編輯需求，比如讓他們點頭、轉頭或歪頭，這項技術也是支持的。
這項研究名叫 GAIA（Generative AI for Avatar，用于虛拟形象的生成式 AI），其 demo 已經開始在社交媒體傳播。不少人對其效果表示贊歎，并希望用它來「複活」逝者。
但也有人擔心，這些技術的持續進化會讓網絡視頻變得更加真假難辨，或者被不法分子用于詐騙。看來，反詐手段要繼續升級了。
GAIA 有什麽創新點？
會說話的虛拟人物生成旨在根據語音合成自然視頻，生成的嘴型、表情和頭部姿勢應與語音内容一緻。以往的研究通過實施特定虛拟人物訓練（即爲每個虛拟人物訓練或調整特定模型），或在推理過程中利用模闆視頻實現了高質量的結果。最近，人們緻力于設計和改進零樣本會說話的虛拟人物的生成方法（即僅有一張目标虛拟人物的肖像圖片可以用于外貌參考）。不過，這些方法通過采用基于 warping 的運動表示、3D Morphable Model（3DMM）等領域先驗來降低任務難度。這些啓發式方法雖然有效，但卻阻礙了從數據分布中直接學習，并可能導緻不自然的結果和有限的多樣性。
本文中，來自微軟的研究者提出了 GAIA（Generative AI for Avatar），其能夠從語音和單張肖像圖片合成自然的會說話的虛拟人物視頻，在生成過程中消除了領域先驗。
項目地址：https://microsoft.github.io/GAIA/
論文地址：https://arxiv.org/pdf/2311.15230.pdf
GAIA 揭示了兩個關鍵洞見：
用語音來驅動虛拟人物運動，而虛拟人物的背景和外貌（appearance）在整個視頻中保持不變。受此啓發，本文将每一幀的運動和外貌分開，其中外貌在幀之間共享，而運動對每一幀都是唯一的。爲了根據語音預測運動，本文将運動序列編碼爲運動潛在序列，并使用以輸入語音爲條件的擴散模型來預測潛在序列；
當一個人在說出給定的内容時，表情和頭部姿态存在巨大的多樣性，這需要一個大規模和多樣化的數據集。因此，該研究收集了一個高質量的能說話的虛拟人物數據集，該數據集由 16K 個不同年齡、性别、皮膚類型和說話風格的獨特說話者組成，使生成結果自然且多樣化。
根據上述兩個洞見，本文提出了 GAIA 框架，其由變分自編碼器 ( VAE ) （橙色模塊）和擴散模型（藍色和綠色模塊）組成。
VAE 主要用來分解運動和外貌，其包含兩個編碼器（即運動編碼器和外貌編碼器）和一個解碼器。在訓練過程中，運動編碼器的輸入是當前幀的面部關鍵點（landmarks），而外貌編碼器的輸入是當前視頻剪輯中的随機采樣的幀。
随後根據這兩個編碼器的輸出，優化解碼器以重建當前幀。在獲得了訓練好的 VAE 後，就得到了所有訓練數據的潛在運動（即運動編碼器的輸出）。
接着，本文訓練了一個擴散模型來預測以語音和視頻剪輯中的一個随機采樣幀爲條件的運動潛在序列，這爲生成過程提供了外貌信息。
在推理過程中，給定目标虛拟人物的參考肖像圖像，擴散模型将圖像和輸入語音序列作爲條件，生成符合語音内容的運動潛在序列。然後，生成的運動潛在序列和參考肖像圖像經過 VAE 解碼器合成說話視頻輸出。
在數據方面。該研究從不同的來源構建數據集，他們收集的數據集包括 HighDefinition Talking Face Dataset ( HDTF ) 和 Casual Conversation datasets v1&v2 ( CC v1&v2 ) 。除了這三個數據集之外，該研究還收集了一個大規模的内部說話虛拟人物（internal talking avatar）數據集，其中包含 7K 小時的視頻和 8K 說話者 ID。數據集統計的概述如表 1 所示。
爲了能夠從數據中學習到所需的信息，本文還提出了幾種自動過濾策略來确保訓練數據的質量：
爲了使嘴唇運動可見，頭像的正面方向應朝向相機；
爲了保證穩定性，視頻中的面部動作要流暢，不能出現快速晃動；
爲了過濾掉嘴唇動作和言語不一緻的極端情況，應該删除頭像戴口罩或保持沉默的幀。
本文在過濾後的數據上訓練 VAE 和擴散模型。從實驗結果來看，本文得到了三個關鍵結論：
GAIA 能夠進行零樣本說話虛拟人物生成，在自然度、多樣性、口型同步質量和視覺質量方面具有優越的性能。根據研究者的主觀評價，GAIA 顯着超越了所有基線方法；
訓練模型的大小從 150M 到 2B 不等，結果表明，GAIA 具有可擴展性，因爲較大的模型會産生更好的結果；
GAIA 是一個通用且靈活的框架，可實現不同的應用，包括可控的說話虛拟人物生成和文本 - 指令虛拟人物生成。
GAIA 效果怎麽樣？
實驗過程中，該研究将 GAIA 與三個強大的基線進行比較，包括 FOMM、HeadGAN 和 Face-vid2vid。結果如表 2 所示：GAIA 中的 VAE 比以前的視頻驅動基線實現了持續的改進，這說明 GAIA 成功地分解了外貌和運動表示。
語音驅動結果。用語音驅動說話虛拟人物生成是通過從語音預測運動實現的。表 3 和圖 2 提供了 GAIA 與 MakeItTalk、Audio2Head 和 SadTalker 方法的定量和定性比較。
可以看出，GAIA 在主觀評價方面大幅超越了所有基線。更具體地說，如圖 2 所示，即使參考圖像是閉着眼睛或不尋常的頭部姿态給出的，基線方法的生成往往高度依賴于參考圖像，相比之下，GAIA 對各種參考圖像具有魯棒性，并生成具有更高自然度、口型高度同步、視覺質量更好以及運動多樣性的結果。
如表 3 所示，最佳 MSI 分數表明 GAIA 生成的視頻具有出色的運動穩定性。Sync-D 得分爲 8.528，接近真實視頻的得分 ( 8.548 ) ，說明生成的視頻具有出色的唇形同步性。該研究獲得了與基線相當的 FID 分數，這可能是受到了不同頭部姿态的影響，因爲該研究發現未經擴散訓練的模型在表中實現了更好的 FID 分數，如表 6 所示。
© THE END
轉載請聯系本公衆号獲得授權
投稿或尋求報道：[email protected]
