ControlNet作者 " 敏神 "(張呂敏),剛剛上新了一個新項目——
名叫IC-Light V2,可以說是把AI 打光這事兒玩得溜溜的。
IC-Light 是此前張呂敏開發的圖像處理工具,可以通過 AI 技術精确控制圖像中的光照效果。
而此次的 V2 版本則是一系列基于FLUX的 IC-Light 型号,具有 16 通道 VAE 和原生高分辨率。
話不多說,直接來看效果。
例如随意輸入一張照片,附上一句 Prompt:
flicker 2008 photo of a woman, neon light, city, cars and people in the background.
閃爍 2008 年的照片,一個女人,霓虹燈,城市,汽車和人的背景。
最終生成的效果可以稱得上毫無違和感。
我們再來放大來看下前後的對比,人物細節保留程度就更明顯了:
再來看一個例子:
據敏神自己介紹:
IC-Light V2 得益于更好的訓練方法,細節保留能力遠高于 SD1.5。
而網友們在看完新工具的效果之後也直呼 " 世界上最好的重光照(relighting)工具 "。
風格化圖片也能處理
在之前基于 SD1.5 的 IC-Light,有個問題就是處理帶風格的圖片的效果并不是非常理想。
例如這樣:
可以明顯看出,原圖是一張美漫風格的圖片,而輸出的結果卻是真人風了。
而且即使在 Prompt 中給到了關鍵詞 "surrealist painting of(超現實主義繪畫)",得到的風格依舊還是帶點漫畫風。
嗯,AI 直接把這個關鍵詞給忽略掉了。
而現在,基于 FLUX 的 IC-Light V2,已經彌補了此前的缺陷。
除了人物之外,敏神也展示了其它主體的效果。
在線可玩
目前,IC-Light V2 已經上線 HuggingFace,可以在線體驗。
下面是我們實測馬斯克照片的例子:
除此之外,敏神此次推出的 IC-Light V2 其實是一個系列的模型。
目前可以體驗的版本是一個 foreground conditioned model(前景條件模型),強調的是保留輸入圖像細節。
還有三個模型在陸續發布:
還是一個前景條件模型,但強調支持較大的修改,例如處理低光圖像和更改硬陰影。
一個前景和背景條件模型
與環境 HDRI 集成的模型
最後,敏神對于這次的模型還補充道:
目前的模型隻能在 HuggingFace 上體驗,稍後會發布更多的推理代碼和權重。
然而,與 V1 不同的是,該許可證将僅用于非商業用途。
體驗鏈接放下面了,感興趣的小夥伴可以嘗鮮一波哦 ~
體驗地址:
https://huggingface.co/spaces/lllyasviel/iclight-v2
參考鏈接:
[ 1 ] https://github.com/lllyasviel/IC-Light/discussions/98
[ 2 ] https://x.com/multimodalart/status/1850521222213218380?s=46&t=6eepxw1G6XRQ7VO0ANjJWg