IT 之家 11 月 4 日消息，騰訊 AI 實驗室近日推出了漸進式條件擴散模型（PCDMs），在姿态引導人物圖像合成方面取得重大突破。
PCDMs 由先驗條件擴散模型、修複條件擴散模型和完善條件擴散模型三個關鍵階段組成，解決了應對源圖像與目标圖像的姿态不一緻問題，以及在生成高質量、逼真圖像方面的挑戰。
PCDMs 在 DeepFashion 和 Market1501 數據集上的各項指标，明顯優于其他 SOTA 方法，且在小尺度數據集 Market1501（128*64）上的 SSIM 指标得到最高的 0.3169，比第二名 PIDM 高出 3.8%。
在先驗條件擴散模型第一階段，在給定源圖像和姿勢坐标作爲條件的情況下，先驗條件擴散模型采用一個變換網絡來預測目标姿勢下的全局特征。
在修複條件擴散模型第二階段，進一步完善第一階段的全局特征，建立源圖像和目标圖像之間密集對應關系，該階段可确保跨多個維度（包括圖像、姿勢和特征）進行對齊，對于實現逼真的結果至關重要。
在完善條件擴散模型第三階段：在前一階段生成初始粗粒度目标圖像後，細化條件擴散模型介入以提高圖像質量和紋理細節。
此階段利用先前生成的粗粒度圖像作爲條件，進一步提高圖像保真度并确保紋理一緻性，涉及修改第一個卷積層，并使用圖像編碼器從源圖像中提取特征。采用交叉注意力機制将紋理特征注入網絡，便于紋理修複和細節增強。
IT 之家在此附上論文地址：https://arxiv.org/pdf/2310.06313.pdf
GitHub 地址：https://github.com/muzishen/PCDMs
