梵高名作也能被 AI 逆向破解了？！
直接喂一張原圖，AI 就能化身梵高 · 本高一點點重繪整張圖畫（原圖可任意）。
仔細對照兩邊，AI 幾乎實現了 1:1 複刻，還爲我們這些繪畫小白清晰展示了整幅圖的構建過程。
這項魔法來自華盛頓大學，項目名爲Inverse Painting，相關論文已入選 SIGGRAPH Asia 2024，其中兩位作者還是東北大學（Bowei Chen ）和上海科技大學（Yifan Wang）的校友。
項目一經發布後即在 Reddit 引起熱議，最高贊更是爲藝術家群體操起了心（doge）。
藝術家可能會對此感到憤怒
不過也有人表示，這對于人們學習如何繪畫非常有幫助。
甚至可以用來 " 破解 " 一些大師遺作，提取隐藏或失傳的技術。
基于擴散模型
從原圖→繪畫過程延時視頻，Inverse Painting 采用基于擴散的逆繪畫方法。
通過學習真實藝術家的繪畫視頻，結合文本和區域理解來定義繪畫 " 指令 "，并使用基于擴散的渲染器更新畫布，從而生成類似于人類藝術家繪畫過程的視頻。
進一步拆解，這一過程主要包括以下步驟：
學習藝術家的繪畫過程。收集了 294 個丙烯酸風景畫繪畫過程視頻（平均時長 9 分鍾），并進行視頻幀分割、裁剪和篩選等預處理操作，讓模型學習繪畫過程；
定義繪畫指令。基于對畫作不同元素（比如天空、樹木、人物等）以及元素相互關系的理解，模型會生成一組 " 繪畫指令 "，告訴模型應該先畫什麽，後畫什麽；
使用擴散模型。用擴散模型生成逼真圖像，并逐步在畫布上添加細節，就像藝術家繪畫時一樣；
文本和區域理解。模型還會生成文本指令和區域掩碼，前者告訴模型要繪制的内容，後者用來指定内容的确切位置；
逐步渲染。從一個空白畫布開始，逐步生成完整繪畫過程；
時間控制。爲了模拟真實世界中藝術家的繪畫速度，模型還會考慮每步之間的時間間隔；
這些步驟整體可歸爲兩階段訓練 + 測試，如下所示：
第一階段：指令生成（Instruction Generation）
這個階段主要生成兩個關鍵指令集，文本指令生成器（Text Instruction Generator）和區域掩碼生成器（Mask Instruction Generator）。
前者通過比較目标畫作和當前畫布的狀态，生成一個簡短的文本指令，比如 " 畫天空 " 或 " 加花朵 "，以此決定下一步應該添加哪些元素。
後者是一個二進制圖像，指明了畫布上應該更新哪些部分。
兩者一結合，确保模型隻在畫布上合适的區域進行繪制。
△生成的文本指令第二階段：畫布渲染（Canvas Rendering）
接下來使用第一階段生成的指令來更新畫布。
利用文本指令和區域掩碼，以及當前畫布的圖像和目标畫作，一個基于擴散的渲染器被用來更新畫布。
這個渲染器采用了一種叫做" 去噪擴散概率模型 "的技術，它逐步從噪聲圖像中去除噪音，以生成連續的圖像幀。
總之，渲染器在更新畫布時會考慮多種條件信号，包括文本指令、區域掩碼、時間間隔，以及目标畫作和當前畫作的特征。
這些條件信号幫助渲染器更準确地模拟人類藝術家的繪畫風格和過程。
測試（Test-Time Generation）
在測試階段，模型使用訓練好的管道從頭開始生成一幅畫作。
這裏主要有兩個關鍵：
自回歸過程。每一步都依賴于前一步生成的結果，以此生成一個連貫的繪畫過程；
固定時間間隔。在每一步之間采用固定時間來更新畫布，模拟真實繪畫過程中的時間流逝；
最終，與三個基線方法（Timecraft、Paint Transformer、Stable Video Diffusion）相比，其生成結果明顯更優。
同時，相關變體也取得了 SOTA 結果。
其中兩位作者爲華人
簡單介紹下項目作者，一共 5 位，其中兩位是華人。
Bowei Chen （陳柏維），本科就讀于國内東北大學軟件工程專業（2016 年入學），後分别在卡内基梅隆大學機器人研究所和華盛頓大學攻讀碩博。
研究興趣爲計算機視覺和圖形學的交叉點，重點是圖像和視頻生成。
Yifan Wang，本科就讀于上海科技大學計算機專業，今年剛獲得華盛頓大學 CS 博士學位。
個人主頁顯示了多段工作經曆（含字節、谷歌、Adobe 等），目前是 Meta Reality Labs Research 的一名研究科學家。
實際上，這個團隊進行的AI 逆向繪畫之前也有，網友們還提到了Paints Undo這個項目。
當時主要應用于動漫領域，短短 3 個月已在 GitHub 攬星 3.3K。
對于這事兒，人們一直褒貶不一，最大争議在于人們擔心有人會利用 AI 謊稱作者。
畢竟通過講解藝術思路是作者證明作品原創性的手段之一。
甚至對于它能教人們學繪畫這事兒，也有網友以自身經曆出來反駁：
目前不太符合真實繪畫過程
所以，有了解繪畫的童鞋來說說看嗎？
參考鏈接：
[ 1 ] https://inversepainting.github.io/
[ 2 ] https://www.reddit.com/r/singularity/comments/1fybddi/inverse_painting_can_generate_timelapse_videos_of/
