四位美少女，帶着 AI 畫畫在 ChatGPT 的熱浪中殺出了一片天地。
新 " 魔法 "一出，瞬間吸引全場目光：
原本是一張四個閨蜜在沙灘邊上的普通合影照：
在新魔法的加持下，" 啪的一下 " 畫風兩極反轉，瞬間進入唯美動漫風：
還有效果截然不同的，例如醬紫：
不僅是動漫畫風效果上的驚豔，就連人物的 pose 也是保持得 " 原汁原味 "，美女們這下子算是分分鍾實現了動漫自由。
如此效果一出，也是引來了不少網友們的圍觀，直呼 " 在線求教程 "：
也有不少人呼籲可以将這套玩法商業化了：
兩大 AI 高手聯動
使出這套 AI 組合拳的，是一位叫 "viggo" 的華人小哥博主。
他所持的兩大法寶分别是：左手StableDiffusion，右手ControlNet。
StableDiffusion，相信很多友友們都已經很熟悉了，是根據輸入提示的文本，就可以快速出圖的 AI 作畫神器。
ControlNet，則是新晉當紅 AI 插件（GitHub 上線 2 天狂攬 4.6K 星），相當于給 AI 作畫這事加了 buff，可以精準控制手部細節和整體結構等。
小哥的做法說起也是比較簡單，就是先将原圖導入進去，用 StableDiffusion 圖片轉文字。
再用 Text2Prompt 插件拓展找到對應的關鍵詞；最後用 ControlNet 插件綁定骨骼開始換關鍵詞試效果。
當然，原圖中四位美女的姿勢，也可以根據小哥繪制骨骼結構的不同發生相應的改變。例如這樣的：
相比原圖中人物的位置，上面這張中的人物更分散了一些，也站到了一排；以及上半身手臂的姿勢也發生了變化。
也是得益于 StableDiffusion 的能力，AI 生成畫作在畫風上也能産出截然不同的效果：
效果之驚豔，已經有網友按耐不住，照着小哥的說法 " 複現 " 了一遍，并表示：
第一次接觸，很好玩，嘗試複現下，感覺良好。
不過有一說一，這位新晉 AI 作畫頂流插件 ControlNet 的 " 神通 " 可不僅于此。
簡單幾筆也可畫出真人效果
例如微博博主 " 海辛 Hyacinth" 便分享了他用 ControlNet 插件後 " 草圖變美女 " 的玩法。
他先是繪制了一張線稿：
然後是開啓了 ControlNet 的 scribble 模細化效果，便得到了這樣的結果：
效果之逼真，也是令人歎服了。
" 海辛 Hyacinth" 還測試了在同一 seed 下不同參數的效果：
有小夥伴就要問了，那如果關閉了 ControlNet，效果會如何？别急，博主也做了測試，效果是這樣的：
" 海辛 Hyacinth" 的這波操作也是得到了 ControlNet 作者的認可：
這也把博主本人激動壞了，直呼 " 尖叫 "：
當然，ControlNet 還可以實現其它諸多的功能，例如在裝修設計上，可以輸入一張拍好的卧室圖，分分鍾輸出草圖和換了風格的效果圖：
以及在 ControlNet 的在線網站中，也提供了許多不同功能玩法體驗，感興趣的小夥伴可以去嘗試哦：
給 AI 畫畫模型加 buff
ControlNet 的原理，本質上是給預訓練擴散模型增加一個額外的輸入，控制它生成的細節。
這裏可以是各種類型的輸入，作者給出來的有 8 種，包括草圖、邊緣圖像、語義分割圖像、人體關鍵點特征、霍夫變換檢測直線、深度圖、人體骨骼等。
那麽，讓大模型學會 " 按輸入條件生成圖片 " 的原理是什麽呢？
ControlNet 整體思路和架構分工如下：
具體來說，ControlNet 先複制一遍擴散模型的權重，得到一個 " 可訓練副本 "（trainable copy）。
相比之下，原擴散模型經過幾十億張圖片的預訓練，因此參數是被 " 鎖定 " 的。而這個 " 可訓練副本 " 隻需要在特定任務的小數據集上訓練，就能學會條件控制。
據作者表示，即使數據量很少（不超過 5 萬張圖片），模型經過訓練後條件控制生成的效果也很好。
" 鎖定模型 " 和 " 可訓練副本 " 通過一個 1 × 1 的卷積層連接，名叫 "0 卷積層 "。
0 卷積層的權重和偏置初始化爲 0，這樣在訓練時速度會非常快，接近微調擴散模型的速度，甚至在個人設備上訓練也可以。
例如一塊英偉達 RTX 3090TI，用 20 萬張圖像數據訓練的話隻需要不到一個星期：
作者基于當前大火的 Stable Diffusion 進行了具體實現，主要架構如下：
針對不同的輸入，作者也給出了對應不同的模型，生成效果也都不錯。
具體效果，就如我們剛才所展示的那樣了。
One More Thing
最後來一個溫馨提示……男同胞們不要覺得 2 月 14 日這個情人節過完就安全了。
接下來還可能有白色情人節（3 月 14 日）、黑色情人節（4 月 14 日）、玫瑰情人節（5 月 14 日）、親親情人節（6 月 14 日）……
趕緊把這套 "AI 組合拳 " 學起來，送自己的老婆 / 女朋友一張唯美的禮物吧！
參考鏈接：
[ 1 ] https://twitter.com/decohack/status/1627378506857611264
[ 2 ] https://weibo.com/timerainer1015
[ 3 ] https://github.com/lllyasviel/ControlNet
[ 4 ] https://twitter.com/lvminzhang/status/1627142848788463616
