ControlNet大更新：僅靠提示詞就能精準P圖，保持畫風不變，網友：效果堪比定制大模型

Stable Diffusion 插件、"AI 繪畫細節控制大師 "ControlNet迎來重磅更新：

隻需使用文本提示詞，就能在保持圖像主體特征的前提下，任意修改圖像細節。

比如給美女從頭發到衣服都換身造型，表情更親和一點：

抑或是讓模特從甜美鄰家女孩切換到高冷禦姐，身體和頭部的朝向、背景都換個花樣兒：

——不管細節怎麽修改，原圖的 " 靈魂 " 都還在。

除了這種風格，動漫類型的它也能駕馭得恰到好處：

來自推特的 AI 設計博主 @sundyme 就稱：

效果比想象得要好！

隻需要一張參考圖就能完成以上轉變，部分圖片幾乎可以達到定制大模型的效果了。

咳咳，各位 AI 繪畫圈的朋友們，打起精神來，又有好玩的了。

（ps. 第一三張效果圖來自油管博主 @Olivio Sarikas，第二張來自推特博主 @sundyme）

ControlNet 上新：保留原圖畫風的修圖功能

以上更新内容，其實指的是一個叫做"reference-only"的預處理器。

它不需要任何控制模型，直接使用參考圖片就能引導擴散。

作者介紹，這個功能其實類似于 "inpaint" 功能，但不會讓圖像崩壞。

（Inpaint 是 Stable Diffusion web UI 中的一個局部重繪功能，可以将不滿意、也就是被手工遮罩的地方進行重新繪制。）

一些資深玩家可能都知道一個 trick，就是用 inpaint 來進行圖像擴散。

比如你有一張 512x512 的狗的圖像，然後想用同一隻狗生成另一張 512x512 的圖像。

這時你就可以将 512x512 的狗圖像和 512x512 的空白圖像連接到一張 1024x512 的圖像中，然後使用 inpaint 功能，mask 掉空白的 512x512 部分，漫射出具有相似外觀的狗的形象。

在這個過程中，由于圖像隻是簡單粗暴的進行拼接，加上還會出現失真現象，所以效果一般都不盡如人意。

有了 "reference-only" 就不一樣了：

它可以将 SD（即 "Stable Diffusion"）的注意力層直接鏈接到任何獨立的圖像，方便 SD 直接讀取這些圖像作爲參考。

也就是說，現在你想要在保持原圖風格的前提下進行修改，使用提示詞直接在原圖上就能操作。

如官方示例圖将一隻靜立的小狗改成奔跑動作：

你隻需要将你的 ControlNet 升級到1.1.153 版本以上，然後選擇 "reference-only" 作爲預處理器，上傳狗的圖片，輸入提示詞 "a dog running on grassland, best quality …… "，SD 就隻會用你的這張圖作爲參考進行修改了。

網友：ControlNet 迄今最好的一個功能

"reference-only" 功能一出，有不少網友就上手體驗了。

有人稱這是 ControlNet 迄今爲止最棒的一個功能：

傳一張帶有人物姿勢的動漫圖片，再寫一句看上去跟原圖完全無關的提示。突然之間，你想要的效果就在原圖的基礎上跑出來了。真的很強，甚至說是達到了改變遊戲規則的程度。