11 月 11 日，字節在豆包大模型團隊官網上公布最新通用圖像編輯模型 SeedEdit。SeedEdit 支持一句話輕松改圖，包括修圖、換裝、美化、轉化風格、在指定區域添加删除元素等各類編輯操作，通過簡單的自然語言即可驅動模型編輯任意圖像。
目前，該模型已經在豆包 PC 端及即夢網頁端開啓測試。用戶可以在豆包生成圖片後，點擊繼續編輯按鈕，輸入簡單的文本指令對圖片背景或主體進行輕松調整，實現一句話改圖。例如，用戶在生成一張 " 小狗在草地奔跑 " 的圖片後，可以直接輸入 " 背景換成海邊 " 等指令，獲得一張基于原圖片的微調圖。
此外，用戶也可以嘗試在豆包 PC 或即夢的圖像生成功能中自行上傳參考圖并進行二次加工。
SeedEdit 是國内首個實現産品化的通用圖像編輯模型。過往，學術界在文生圖和圖生圖領域已有較多研究，但做好生成圖片的指令編輯一直是難題，二次修改很難保證穩定性和生成質量。今年以來，Dalle3、Midjourney 接連推出産品化的生圖編輯功能，相較業界此前方案，編輯生成圖片的質量大大改善，但仍缺乏對用戶編輯指令的精準響應和原圖信息保持能力。
字節跳動豆包大模型團隊表示：圖像編輯任務的關鍵在于取得「維持原始圖像」和「生成新圖像」之間的最優平衡，這一理念貫穿了整個模型的設計與優化過程。
據介紹，在模型數據生産中， SeedEdit 針對數據稀缺問題， 重新設計模型架構，并且采用多模型，多尺度，和多标準的數據制造方案很大程度上解決了數據量，數據多樣性和數據質量的問題。作爲一款專爲圖像編輯任務設計的模型，SeedEdit 在通用性、可控性、高質量等方面取得了一定突破。
此前業界技術主要針對單個專家任務進行優化，比如針對表情、發型、背景的删除或替換，或專門配置工作流進行風格調配，每次出現新的編輯任務均需收集對應數據進行訓練開發。而 SeedEdit 作爲通用的圖像編輯模型，适用各類編輯任務，支持用戶腦洞大開的奇思妙想，無需再訓練微調即可快捷應用。 它與業界同類方法對比 ( 如 EMU Edit 和 Ultra Edit ) ，取得顯著更優的性能指标。
（HQ-Edit 等基準測評顯示：SeedEdit 能理解相對模糊的指令，且執行細緻編輯時具有更高的圖像保持率和成功率）
即便在常規任務中，相比專家模型，SeedEdit 也有一定優勢。比如，在 " 摳圖 " 換背景等用戶最常用到的圖像分割任務中，SeedEdit 編輯生成後的圖像風格自然，無 " 貼圖感 "；在局部塗抹、編輯、添加和删除元素等任務中，相比手動塗抹編輯， SeedEdit 通過語言指定， 大大節省了用戶塗抹的時間，尤其針對裂紋、發絲等相對精細的塗抹區域。
（要求圖片将草莓替換成檸檬）
同時，SeedEdit 通過創新的模型架構，多尺度、多規則的數據獲取、構造和過濾方案，能更好地理解用戶意圖并對齊 diffusion 生圖模型，極大提高了圖像編輯的精準度，并保持了高質量的圖片生成效果。
（要求去掉裂紋，讓圖片變幹淨）
基于豆包文生圖大模型，目前 SeedEdit 支持中文和英文輸入，還可以對中文成語和專有名詞進行精準響應。下一步，SeedEdit 還将開放多輪複雜編輯的功能。
豆包大模型團隊表示，現階段 SeedEdit 對模型生成圖片的編輯效果要好于輸入真實圖片，同時在更複雜和更精細的控制上仍有改進空間。未來，SeedEdit 會在真實圖片保真、ID 保持、編輯精确性、以及長時序的故事類、漫畫類生成方面做進一步的優化和探索，提升編輯可用率和用戶體驗，支持用戶更高效地創作有趣的内容。
雷峰網
