會操縱手機的智能體，又迎來了全新升級！
新的 Agent 打破了 APP 的界限，能夠跨應用完成任務，成爲了真 · 超級手機助手。
比如根據指示，它可以自行搜索籃球比賽的結果，然後根據賽況在備忘錄中撰寫文稿。
來自阿裏的一篇最新論文，展示了全新手機操縱智能體框架Mobile-Agent，可以玩轉 10 款應用，還能跨越 APP 完成用戶交給的任務，而且即插即用無需訓練。
依托多模态大模型，整個操縱過程完全基于視覺能力實現，不再需要給 APP 編寫 XML 操作文檔。
在 Mobile-Agent 還隻有演示視頻的時候，就已經讓一衆網友爲之驚豔：
和樹莓派結合到一起，将完爆 Rabbit R1（一款大模型硬件）。
想象一下如果它支持語音操縱，并且學會了說話……
那麽，Mobile-Agent 操縱手機到底有多 6 呢？
支持跨應用任務
目前，Mobile-Agent 已經學會了十個 APP 的操作，以及一些跨應用任務。
比如搜索導航路線、幫忙在購物網站下單，它總能精準找到搜索框并完成目标。
也可以 " 刷 " 視頻，然後點贊評論，看上去就像熟練的老手。
甚至是安裝應用、修改系統設置，也難不倒它。
而 Mobile-Agent 支持的跨應用操作，也是讓 " 手機助手 " 更加接近人類……
隻見它打開天氣預報軟件，然後迅速根據讀取到的天氣數據在備忘錄中生成了報告。
而在 Mobile-Eval 數據集上的測試結果也顯示，Mobile-Agent 操縱手機的效率已經達到了人類的 80%。
研究人員在 10 款 APP 和跨應用任務上各測試了三種指令，收集了是否成功（SU）、操作評分（PS）、相對效率（RE）和完成率（CR）四項指标。
其中 SU 隻有成功和不成功兩種情況，RE 是 Agent 所需操作步驟數和人類所需步驟數的比值，CR 則是 Agent 相對于人類操作的完成比例，PS 則以打分形式得出。
結果，針對三種指令，Mobile-Agent 的平均完成率都在 90% 以上，成功次數也不低于 80%。
而且，與此前的智能體不同，Mobile-Agent 不需要依賴應用說明文檔，而是完全依靠視覺能力實現。
基于 GPT-4V 實現
具體來說，Mobile-Agent 基于最強多模态大模型 GPT-4V 實現。
通過視覺感知模塊，Mobile-Agent 從設備的屏幕截圖中準确定位視覺和文本元素文本和圖标。
這一過程涉及到使用 OCR 工具和 CLIP 模型來确定圖标的位置。
通過這些視覺信息，Mobile-Agent 能夠将語言模型生成的操作指令映射到具體的屏幕位置，從而執行點擊等操作。
在執行任務時，Mobile-Agent 首先接收用戶的指令，然後根據當前屏幕截圖、操作曆史和系統提示生成下一步操作。
這個過程是叠代進行的，直到任務完成。
Mobile-Agent 還具備自我規劃能力，能夠根據操作曆史和系統提示自主規劃新的任務。
此外，它還引入了自我反思機制，在執行過程中，如果遇到錯誤或無效操作，它會根據屏幕截圖和操作曆史進行反思，嘗試替代操作或修改當前操作的參數。
目前，研究人員已經在 GitHub 中開源了 Mobile-Agent 測試過程中生成的指令記錄，程序代碼也已經發布，未來還計劃推出 APP 版本。
感興趣的小夥伴可以試一試了 ~
GitHub 主頁：
https://github.com/X-PLUG/MobilAgent
論文地址：
https://arxiv.org/abs/2401.16158
— 完 —
點這裏關注我，記得标星哦～
一鍵三連「分享」、「點贊」和「在看」
科技前沿進展日日相見 ~
