爲了讓 AI 畫出的人更加逼真，港中大博士生用了 3.4 億張圖像專門訓練畫人。
人物的表情、姿态，環境的空間關系、光線都能合理布局，可謂立體感十足。
就連爆火的 SDXL 也不是它的對手，話不多說，直接上圖！
這個模型的名字叫 HyperHuman，主打的就是一個真實立體。
它解決了 Stable Diffusion 等傳統 AI 繪圖工具在畫人時圖像不連貫、姿态不自然的問題。
而且不僅畫得好，也更加 " 聽話 "，畫出的内容能更好地匹配提示詞。
那麽下面就來具體看看 HyperHuman 都能創作出哪些作品吧！
無論是孩子還是老人，各個年齡段的人人物形象 HyperHuman 都可以畫。
人物的動作、表情自然，空間關系看着也很合理。
不僅是圖本身看上去真實，和提示文本的匹配也十分精确。
人物之外，HyperHuman 能繪制出的場景類型也多種多樣。
無論是單人還是多人，是滑雪或者沖浪……
如果和其他模型對比一下的話……
很明顯，在這組提示詞中，其他模型基本上都沒能正确畫出停止标志，而 HyperHuman 則正确地繪制了出來。
A man on a motorcycle that is on a road that has grass fields on both sides and a stop sign.
而在這一組中，其他模型的作品或者不知所雲，或者出現各種細節問題，更有甚者畫出的人長了三隻腳，但 HyperHuman 依舊是穩定發揮。
Mastering the art of skateboarding is profoundly beneficial.
不僅是直觀感受，在數據上 HyperHuman 也是全面碾壓包括 SD2.0 在内的一衆競争對手。
圖像質量方面，HyperHuman 的 FID、KID 兩項指标（均爲數值越低效果越好）都超過了其他模型四分之一以上。
姿勢準确度上，HyperHuman 的兩項評分也明顯勝過了 ControlNet 等其他模型。
那麽，HyperHuman 又是如何實現的呢？
聯合學習，分步生成
爲了提高 HyperHuman 的效果，研究團隊一共提出了兩個思路。
首先是同時學習圖片的顔色、深度圖和法線圖。
顔色反映外觀，深度圖反映物體位置，法線圖反映表面角度。将它們一起學習，可以讓模型更好地理解圖片内容。
第二點則是分階段生成，先使用文本和骨架點作爲條件，生成顔色、深度和法線三者的初步合成結果。
然後以前面生成的條件作爲指引，生成更高分辨率和質量的圖片。
具體實現上，HyperHuman 和 SDXL 一樣也是采用擴散模型。
具體而言，HyperHuman 使用的是 " 潛在結構（latent structal）" 模型。
它的核心包括以下兩個模塊：
聯合去噪模塊：具有多個輸入輸出分支的統一網絡結構，在顔色、深度和法線圖三個維度同時去除噪聲。
結構指導模塊：用上一步産生的結果作爲條件和指引，實現結構到紋理的精細化生成。
此外，爲了提高魯棒性，模型在生成過程中還會選擇的的對一些條件進行取舍。
訓練數據方面，開發者将 LAION-2B 和 COYO 兩個數據集中的公開資源進行整合并處理、标注，得到了約 3.4 億張圖像的 HumanVerse 數據集。
結果在基于 COCO 2014 數據集的多個繪圖模型橫評中，HyperHuman（紅色）都取得了最佳成績，如果考慮文本匹配度，HyperHuman 更是一騎絕塵。
△FID 數值越低成績越好
除了測試數據，研究人員還招募了 100 名用戶，調查了他們更青睐于哪種模型的作品。
他們被要求選出更逼真、質量更好的圖像，結果和另外多種模型相比，HyperHuman 都更受歡迎。
作者簡介
HyperHuman 論文第一作者是香港中文大學博士生 Xian Liu。
HyperHuman 是他在 Snap 公司實習期間完成的，Snap 的 Sergey Tulyakov 等人也參與了本項目。
此外還有香港大學和南洋理工大學的學者對 HyperHuman 亦有貢獻。
