近期，生成式人工智能（AIGC）領域又湧現出多款創意十足的新應用。
今天，钛媒體 AGI 梳理了免費 AI " 神器 " 系列第九彈，共五款，其中不少産品再一次拓寬了我們對 AI 的想象力。
字節推出的 AI 視頻生成模型—— AnimateDiff-Lightning
開源 SDXL 動漫模型—— Animagine XL 3.1
視頻自動生成音效的 AI 工具—— Optimizer AI
通過攝像頭能實現在紙上彈鋼琴的 AI 應用—— Paper Piano 紙鋼琴
截圖轉代碼應用—— screenshot-to-code
1、 字節版 Sora：AnimateDiff-Lightning AI 視頻模型
産品信息：AnimateDiff-Lightning 是字節跳動推出的文生視頻大模型，該模型是從 AnimateDiff SD1.5v2 中提煉出來的，包含了 1 步、2 步、4 步和 8 步提煉模型的版本。其中，2 步、4 步和 8 步模型的生成質量非常好，爲視頻創作者帶來更多了想象和助力。
産品功能：AnimateDiff-Lightning 能夠根據文本描述生成視頻，比起原來的 AnimateDiff 模型，速度提升十倍以上。同時還可以與多種不同風格的基礎模型結合使用，将現有視頻轉換成不同風格的視頻。比如将現實風格視頻轉換成動漫卡通風格，以滿足不同視頻風格創作需要。此外，AnimateDiff-Lightning 支持多步驟蒸餾模型，提供 1 步、2 步、4 步和 8 步的蒸餾模型，用戶可以根據自己的需求，在生成視頻的速度和質量之間做出選擇，以平衡生成速度和視頻質量。
體驗地址：https://huggingface.co/ByteDance/AnimateDiff-Lightning?ref=top.aibase.com
論文地址 : https://arxiv.org/html/2403.12706v1
2、開源 SDXL 動漫模型—— Animagine XL 3.1
産品信息：Animagine XL3.1 是由海藝 AI 與 Cagliostro Lab 合作推出的一款開源動漫文生圖模型。相較于 V3.0 版本，Animagine XL 3.1 在各方面都進行顯著的技術性提升，使其對動漫作品和風格的理解更加深入，爲用戶提供更加強大的動漫圖像生成體驗。
産品功能：Animagine XL 3.1 能夠根據文本提示生成高質量動漫風格圖像。爲了提高生成結果的準确性，Animagine XL3.1 采用了标簽排序的方式，可以更準确地根據輸入的标簽進行生成圖像，提高生成結果準确性。同時，Animagine XL 3.1 擁有 87 萬張圖片的數據集，極大增強了模型對各種動漫角色的識别能力；引入全新概念 " 美學标簽 "，更新了質量和年份标簽，不僅提高了生成圖像的視覺吸引力，也确保圖像風格一緻性，符合更高要求的審美質量标準。
此外，Animagine XL3.1 還解決了 3.0 版本中的過曝問題，提高了生成圖像的質量。通過對算法和訓練過程的優化，該模型在生成圖像時，能夠更好地控制圖像的亮度和色彩，從而避免過曝現象的出現。目前 V3.0 在 Civitai 的下載量超 7 萬。
體驗地址：https://huggingface.co/spaces/cagliostrolab/animagine-xl-3.1
模型下載地址：https://huggingface.co/cagliostrolab/animagine-xl-3.1?ref=top.aibase.com
3、視頻生成音效的 AI 工具—— Optimizer AI
産品信息：Optimizer AI 是一款可以爲視頻自動生成音效的 AI 工具，旨在提升遊戲開發者、藝術家和視頻創作者工作效率，通過音效爲視頻增添更多活力。
産品功能：首先，用戶輸入文字提示即可生成适用于視頻中各種場景的聲音和音效，包括遊戲音效、動畫背景音和視頻配樂。用戶還可以通過指定風格标簽（如卡通、恐怖等）來引導生成不同風格的聲音。
其次，Optimizer AI 支持聲音效果生成，包括變聲功能，能夠基于一個參考聲音生成多個類似的聲音。
再次，Optimizer AI 可以生成用于背景音樂或創建特定氛圍的聲音，并能夠處理和理解文本的信息，保持生成的一緻性的同時還可以生成時長更長的聲音效果。
最後，即将推出的視頻到聲音全面生成功能将允許用戶從視頻中直接生成聲音效果，進一步擴展聲音創作的可能性。
官網地址 : https://www.optimizerai.xyz/
體驗地址 : https://discord.com/invite/bgfnVaaU2n
4、通過攝像頭追蹤在紙上就能彈鋼琴的 AI 應用—— Paper Piano 紙鋼琴
産品信息： Paper Piano（紙鋼琴）是一款通過攝像頭追蹤就能實現在任何一張白紙上彈鋼琴的 AI 應用。Paper Piano（紙鋼琴）的工作原理是通過在紙上預定義不同區域來代表鋼琴鍵，當攝像頭捕捉到手指觸摸特定區域時，相應的音符将被生成。
産品功能： 用戶隻需準備兩張 A4 大小的白紙模拟鋼琴鍵盤，Paper Piano（紙鋼琴）通過攝像頭跟蹤和手指識别技術捕捉用戶的手指移動，從而實現在紙上模拟鋼琴鍵按壓，奏出美妙音樂。值得注意的是，爲了确保手指追蹤的準确性，系統要求在網絡攝像頭的設置上注意角度、高度和距離，同時光線越強，性能也會越好。
不過，目前該項目尚處于支持最多兩根手指的階段，未來将支持更多手指和更高敏感度的訓練模型，爲用戶提供更豐富的演奏體驗。這一技術的發展可能帶來更多有趣的音樂應用，使用戶無需購買真正的鋼琴即可享受演奏的樂趣。
體驗地址：https://github.com/Mayuresh1611/Paper-Piano?ref=top.aibase.com
5、截圖轉代碼應用—— screenshot-to-code
産品信息：screenshot-to-code 是一種基于人工智能技術的創新工具，旨在幫助開發人員将圖像或界面設計截圖轉換成可執行的代碼。用戶隻需上傳截圖，即可獲得整潔的網頁代碼，如 HTML、Tailwind CSS 和 JavaScript 等。
産品功能：首先是智能生成代碼，通過集成 GPT-4Vision，該應用程序能夠智能地分析截圖并生成相應的 HTML、Tailwind CSS 和 JavaScript 代碼，提高用戶寫代碼效率。
其次是 DALL-E3 生成相似圖像，應用程序不僅能生成代碼，還可以利用 DALL-E3 生成與原始截圖相似的圖像，增強用戶體驗。
最後是實時代碼更新，用戶可以直接在應用程序中查看生成的代碼，并在需要時通過與 AI 互動指令，調整樣式或更新缺失的部分，以滿足其需求。
因其簡單、高效的圖轉代碼功能，screenshot-to-code 深受開發者和設計者歡迎，截至發稿，該應用在 GitHub 平台已累計超 35000 顆星。
體驗地址：https://screenshottocode.com/
（本文首發于钛媒體 APP，作者 | 章橙，編輯 | 林志佳）
