克雷西 發自 凹非寺
量子位 | 公衆号 QbitAI
不會寫代碼,也能訓練 AI 繪畫模型了!
隻要借助這個框架,從訓練到推理都能一站式搞定,還能一次管理多個模型。
阿裏巴巴團隊推出并開源了這款萬能圖片生成工作台 SCEPTER Studio。
有了它,不用代碼,直接在 Web 界面當中就能完成模型的訓練與微調,并管理相關數據。
團隊還推出了内置三種模型的 DEMO,可以在線體驗 SCEPTER 的推理功能。
那麽 SCEPTER 具體都能幹啥,下面就來一睹爲快!
一站式管理繪圖模型
有了 SCEPTER,不再需要編寫程序,隻要在 Web 頁面中選擇要訓練的模型,調整好相關的參數,就可以完成模型的訓練和微調了。
具體來看,模型方面,SCEPTER 目前支持 Stable Diffusion 系列的 SD 1.5/2.1 和 SDXL 模型。
微調方式上,它支持傳統的全量微調、LoRA 等方式,以及自家的 SCEdit 微調框架,未來還會加入對 Res-Tuning 調優方式的支持。
SCEdit 通過跳過連接的方式,讓擴散模型能以更高的效率完成圖片生成任務,相比 LoRA 節約了 30%-50% 的内存開銷。
訓練數據方面,SCEPTER 内置了包含 3D、日漫、油畫、素描等 6 種風格,每種風格 30 組圖像 - 文本對的自創數據集。
同時,也可将自行準備的圖片打包壓縮,并以 csv 或 txt 文檔建立圖像(文件名)和 prompt 的對應關系,導入 SCEPTER 平台。
如果連文檔也不想寫,也可以在 SCEPTER 界面中直接上傳圖片并标注 Prompt,管理、添加、删除數據集中的圖片。
到了推理階段,SCEPTER 支持的下遊任務包括文生圖和可控圖像合成,未來還将支持圖像編輯,用法和現有的 Web 版 SD 相似。
同時,SCEPTER 界面中還集成了咒語書(Prompt 合集)和一些現成的微調模型。
那麽,SCEPTER 該如何食用呢?
如果隻想玩玩生成的話,官方在 HuggingFace 和魔搭社區上的 DEMO 就可以滿足要求,并且後者還是中文界面。
如果要使用數據管理、訓練等功能,就需要自行安裝部署完整版本了,具體步驟可以參照 GitHub 頁面中的教程。
整個過程中,隻有安裝部署的環節需要用到一些簡單的代碼,之後的一切過程就都可以在 Web 界面裏直接操作了。
感興趣的話,就去體驗一下吧!
傳送門:
https://github.com/modelscope/scepter
— 完 —
點這裏關注我,記得标星哦~
一鍵三連「分享」、「點贊」和「在看」
科技前沿進展日日相見 ~