圖片來源：unsplash
近期，生成式人工智能（AIGC）領域又湧現出多款創意十足的新應用。
今天，钛媒體 AGI 梳理了免費 AI " 神器 " 系列第四彈，共五款，其中不少産品又再一次拓寬了我們對 AI 的想象力。
視頻界 " 神筆馬良 " —— Boximator
大模型直接操控電腦—— ScreenAgent
文本轉聲音神器—— ElevenLabs 人工智能音效模型
谷歌 Gemini 1.5 最強競對—— LargeWorldModel
閱讀能力媲美人類—— Readagent
1、視頻界 " 神筆馬良 " ——字節 Boximator 模型
産品信息：Boximator 是一款由字節跳動開發的文生視頻模型，可通過文本精準控制生成視頻中人物或物體的動作。
産品功能：用戶隻需輸入一句描述具體動作的文本，Boximator 便可生成對應動作的視頻片段，目前很多文生視頻大模型其實做不到這一點。
例如，同時在 Pika 1.0、Gen-2、Boximator 上輸入文本 " 一位英俊的男人用右手從口袋中掏出一支玫瑰，并注視着這隻玫瑰 "，三個大模型最終生成的視頻中，隻有 Boximator 做到了男士掏花和看花的動作，其他兩個均沒有。
隻有 Boximator 的生成視頻（最左）做到了男士掏花和看花的動作，其他兩個均沒有。
爲了實現對視頻中人物或物體動作的精準控制，Boximator 引入 " 硬盒 " 和 " 軟盒 " 兩種約束方法，用戶可以使用這些盒子來嚴格定義對象在未來幀中的位置、形狀或運動路徑。
不過，Boximator 相關技術似乎還未成熟。
2 月 20 日，字節跳動相關人士表示，Boximator 是視頻生成領域控制對象運動的技術方法研究項目，目前還無法作爲完善的産品落地，距離國外領先的視頻生成模型在畫面質量、保真率、視頻時長等方面還有很大差距。
據悉，字節跳動從 2023 年開始布局 AI，并于去年 11 月成立專注于 AI 創新業務的新部門 Flow。目前字節 Flow 部門已推出了三款 AI 對話類産品，包括豆包、扣子和 Cici。其中，豆包爲一款聊天機器人産品，可以完成問答、文本生成、語言翻譯等多種任務，還可以根據用戶需求和上下文進行自适應問答，提供個性化服務；扣子是一站式 AI Bot 開發平台，無論用戶是否有編程基礎，都可以在扣子平台上快速搭建基于 AI 模型的各類問答 Bot，可完成解決簡單的問答，并處理複雜邏輯的對話。
高管方面，前 TikTok 的産品負責人、現任字節跳動産品和戰略副總裁朱駿已擔任 Flow 産品負責人，此外還有一些内部核心産品人員轉崗至 Flow。
體驗地址：https://boximator.github.io/
2、谷歌 Gemini 1.5 最強競對—— LargeWorldModel
産品信息：LargeWorldModel（LWM）是一種大型多模态自回歸模型，由 UC 伯克利大學開發。它使用 RingAttention 在包含長視頻和長文本的大型數據集上進行訓練，從而執行語言、圖像和視頻的理解和生成。
産品功能：LWM 支持處理多模态信息，能在 100 萬 token 中準确找到目标文本，還能一口氣看完 1 小時的視頻後，準确地回答出有關視頻内容細節的問題，突破了當前語言模型在處理複雜的長格式任務的不足。除此之外，LWM 還支持圖像和視頻的生成，被外界視爲谷歌 Gemini 1.5 最強競對。
LargeWorldModel 産品介紹界面
體驗地址：https://github.com/LargeWorldModel/LWM
3. 大模型直接操控電腦——ScreenAgent
産品信息：ScreenAgent 是一款由吉林大學人工智能學院開發、視覺語言大模型驅動的計算機控制代理。
産品功能：ScreenAgent 可幫助用戶在無需輔助定位标簽的情況下，通過 VLM Agent 控制電腦鼠标和鍵盤，實現大模型直接操控電腦的功能。
ScreenAgent 可根據用戶的文本描述查找并播放指定的視頻
例如，ScreenAgent 可根據用戶的文本描述查找并播放指定的視頻，或根據用戶要求調整視頻播放速度。ScreenAgent 還能幫用戶打開 Windows 系統的事件查看器，使用 office 辦公軟件，例如根據用戶文本描述，删除指定的 PPT 内容。
體驗地址：https://github.com/niuzaisheng/ScreenAgent
4、文本轉聲音神器——ElevenLabs 人工智能音效模型
産品信息：近日，ElevenLabs 宣布将推出一款人工智能音效模型，可幫助用戶通過文本生成音效，填補了當下 AI 視頻生成缺乏背景音效的空白。
産品功能：在 ElevenLabs 發布的預告視頻中，這款人工智能音效模型爲 Sora 生成的視頻畫面添加了不同的音效，如人群中舞龍的喧鬧聲、高速列車運行的轟鳴聲、行人的腳步聲等。
目前，ElevenLabs 公布了一段視頻，但尚未公開該模型的具體細節，僅設立了一個注冊頁面，用戶可提前注冊等待該模型的開放試用。
注冊地址：https://form.typeform.com/to/gg0xzZW4?typeform-source=t.co
5、閱讀能力超強的 Agent 模型—— Readagent
産品信息：Readagent 是由 Google 開發的一款模仿人類閱讀方式的閱讀類型代理（Agent）模型。它通過學習人類閱讀長文本時遺忘具體信息但保留要點信息的方式，來提高處理和理解長文本的效率。
産品功能：在處理長文本時，Readagent 會把文本中的主要信息轉化爲 " 要點記憶 " 進行存儲，當需要回答具體細節問題時，Readagent 會迅速定位到到相應的 " 要點 " 中尋找答案，從而出色地完成長文本的閱讀理解任務。此外，Readagent 還能幫用戶在複雜的網站中找到需要的信息。
體驗地址：https://github.com/read-agent/read-agent.github.io/blob/main/assets/read_agent_demo.ipynb
（本文首發钛媒體 App，作者｜任穎文，編輯｜林志佳）
