ChatGPT 客戶端,支持 " 讀屏編程 " 了。
即日起,Mac 端的 Plus 用戶,可以直接讓 ChatGPT 客戶端讀取開發工具中的代碼。

目前,包括常用的Xcode 和 VS Code在内,該功能一共支持五款編程工具。
網友 Mckay Wrigley 表示,這像是在做夢一樣,已經迫不及待想看到未來的發展了。

還有網友說,OpenAI 宣傳的案例太簡單了,實際上這個功能比演示得更加強大。

Mac 版更新的同時,Windows 用戶翹首以待的桌面客戶端也終于全量上線。

Mac 端 plus 用戶可 " 讀屏編程 "
從今天開始,ChatGPT 的 Mac 客戶端可以 " 讀屏編程 " 了。
在 OpenAI 的官方宣傳視頻中,演示者要求給一個實例 APP 添加一個選項卡。
可以看到 ChatGPT 自動将現有代碼導入會話,并根據要求生成了新的完整代碼。

實際上,這是 OpenAI 在 Mac 版 ChatGPT 客戶端中上線的"Work with Apps"功能,最先覆蓋到編程工具的結果。
具體來說,目前該功能支持 Xcode、VS Code 和 TextEdit 三款 IDE 或編輯器(其中 VS Code 需安裝插件),以及 Terminal 和 iTerm 這兩款終端型工具。

開始使用之前,需要到系統設置中爲 ChatGPT 客戶端開啓 " 輔助功能 " 權限。

在三款編輯器中,ChatGPT 會處理最前面的窗口中包含的完整代碼,直到超出窗口長度限制。
如果在編輯器中選擇了部分内容,ChatGPT 會在處理完整窗口的同時,重點關注被選中的部分。

而對于兩款終端類工具,ChatGPT 會處理窗口中的最後 200 行。
目前該功能已經開放給了 Plus 和 Team 訂閱用戶," 接下來幾周 " 會覆蓋 Enterprise 和 Edu 用戶。
從 "Work with Apps" 這個名字可以看出,該功能可能不隻面向編程工具,未來可能支持更多應用。
鑒于有爆料稱 OpenAI 計劃明年上線其智能體,"Work with Apps"不排除是 OpenAI 在這個方向上的初步嘗試。

不過目前來看,"Work with Apps" 功能是通過調用蘋果的 " 輔助功能 " 接口實現,而不是通過視覺方式來讀取屏幕内容。
而且根據現有代碼生成的新内容也不能直接導入編程工具,需要手動複制粘貼。
所以,這波 ChatGPT 的用戶體驗,還是受到了一些吐槽。

相比之下,OpenAI 的競争對手 Anthropic 和谷歌,都已經有了基于視覺的屏幕操作功能。

希望到 OpenAI 的 Agent 真正上線那一天,用戶體驗也能有所提升。
Windows 客戶端全量上線
除了 Mac 版功能更新,這次 OpenAI 也給 Windows 用戶帶來了好消息——
Windows 客戶端已經全量上線,免費用戶也能使用了。
全量上線的客戶端已經支持高級語音模式,最新推出的搜索功能也安排上了。

類似于 Mac 裏的 option+ 空格,在 Windows 系統中,可以在任何界面通過Alt+ 空格組合鍵來調用 ChatGPT。
在喚起的彈窗中,可以輸入文本、上傳屏幕截圖、攝像頭拍照或上傳本地文件。

微軟應用商店界面顯示,Windows 客戶端于 9 月 7 日上架,而按照 OpenAI 官網的信息,測試版在 10 月開放給了 Plus、Team、Enterprise 和 Edu 這些付費用戶。
但總之從即日起,無論是不是付費用戶都可以體驗 Windows 客戶端了。
另外在 OpenAI 官推公告的評論區,有很多網友詢問支不支持 Windows 10:

關于這個問題,微軟應用商店顯示是支持的,不過子版本号需要 17763.0(又叫 2018 年 10 月更新或版本 1809)以上。

參考鏈接:
[ 1 ] https://techcrunch.com/2024/11/14/chatgpt-can-now-read-some-of-your-macs-desktop-apps/
[ 2 ] https://help.openai.com/en/articles/10119604-work-with-apps-on-macos
[ 3 ] https://help.openai.com/en/articles/10003026-windows-app-release-notes