ControlNet 作者新作，玩兒得人直呼過瘾，剛開源就攬星 1.2k。
用于操縱圖像照明效果的IC-Light，全稱 lmposing Consistent Light。
玩法很簡單：
上傳任意一張圖，系統會自動分離人物等主體，選擇光源位置，填上提示詞，就能毫無破綻的融入新環境了！
趕緊來個王家衛式的打光：
不喜歡？
沒關系，換成窗外打進來的自然光，也就分分鍾的事。
目前，IC-Light 提供兩類模型：文本條件重照明模型，還有背景條件模型。
兩種模型都需要以前景圖像作爲輸入。
鑒于之前 Controlnet 太好玩兒，這次 IC-Light 一出現就頗受關注，還有網友迅速做出了 ComfyUI 插件。
（疑惑，大家這麽拼，都不睡覺的嗎？？）
不管是期待值還是用後體驗，網友給得都很高：
Nice！迫不及待要上手玩了嘻嘻嘻嘻。
誰能幫我把這圖換個背景？
從遠古 MCN 到貼吧再到現在小紅書，各個時代，都不乏 " 誰能幫我換張背景 " 這種求助貼。
但熱心網友的幫助，往往是這樣子的：
就離譜。
不過說實在話，這種需求不僅存在于你我普通人之間，電商做商品海報，也常常有類似的需求。
有了 IC-Light，好像一切都變得簡單起來。
上傳主體原圖 + 選擇光源位置 + 提示詞，完事兒。
來看效果——
這樣一張佛像原圖，加上提示詞 " 佛像、細緻的臉部、科幻 RGB 發光、賽博朋克 "，再選擇 " 光從左側打來 "。
就能得到一張嶄新的成品：
哪怕是日常場景也是适用的。
最後出的效果肉眼看還是比較自然：
根據網友分享的測評，動漫場景也适用……
背後技術
如前所說，IC-Light 現在提供兩類模型，兩種模型都需要以前景圖像作爲輸入。
一類是文本條件重照明模型。
簡單來說就是用戶可以通過輸入提示詞來搞定生成。
比如輸入 " 左側光線 "" 月光 " 等，模型會通過這些提示詞和初始潛變量，來生成符合要求和特征的圖像。
另一類是背景條件模型。
這種就更簡單了，不需要複雜的提示詞，模型結合背景提示信息，對前景的物體進行不同風格的光照變化。
而其背後的技術原理，是通過潛在空間的一緻性，确保模型輸出在不同光源組合下具有一緻性，從而可以穩定地合成各種光照效果。
具體如下——
在 HDR 空間中，所有照明的光線傳輸都彼此獨立，不同光源的外觀混合效果與多光源直接作用下的外觀在數學上（也就是理想狀态下）是一緻的。
以上面這張圖的燈光階段爲例，來自 " 外觀混合 " 和 " 光源混合 " 的兩個圖像是一緻的，（理想情況下，在 HDR 空間中數學上等效）。
因此，在訓練重新照明模型時，研究人員在潛在空間中使用多層感知機（MLP）讓不同光源的組合和傳輸具有一緻性，并用來指導生成效果。
最終産生高度一緻的重新光照效果。
由于模型使用了潛在擴散技術，因此可以在潛在空間内實現學習和重光照操作，從而在各種光照條件下産生高度一緻的效果。
這些結果非常一緻——盡管在訓練時，模型沒有直接使用法線圖數據，但可以将不同的重新光照合并爲法線貼圖。
看下面這張圖，從左到右依次是輸入、模型輸出、重新照明、分割的陰影圖像和合并的法線貼圖。
感興趣的小夥伴可以前往下面地址試玩兒喲～
GitHub 直通車：
https://github.com/lllyasviel/IC-Light?tab=readme-ov-file
— 聯系作者 —
— 完 —
點這裏關注我，記得标星哦～
一鍵三連「分享」、「點贊」和「在看」
科技前沿進展日日相見 ~
