ChatGPT長期記憶功能出現嚴重漏洞！
黑客利用漏洞，一能給 AI 植入虛假記憶，在後續回答中出現誤導信息。二能植入惡意指令，持續獲取用戶聊天數據。
聊點啥都會被看光光。
更可怕的是，即使開始新的對話，它仍陰魂不散，持續竊取數據。
而當你直接問 ChatGPT 4o 有沒有竊取數據，它一口一個 " 怎麽會？我沒有 "
電子郵件、文檔、博客文章等内容都有可能成爲植入 " 惡意記憶 " 的媒介，一旦植入就是長久性的。
職業安全研究員 Johann Rehberger 被曝五月份就發現了這個問題，還向 OpenAI 私下報告了這個漏洞。
但沒被當回事兒，據說 OpenAI 最初将這個問題簡單地歸類爲安全隐患，而非技術層面的安全漏洞，并匆匆結束了調查。
Rehberger 随即開發了一個概念驗證程序，利用這個漏洞持續竊取用戶的所有輸入信息，OpenAI 工程師這才注意到這一問題。
本月已發布了修複方案。
聯系昨天 OpenAI 高層動蕩内幕曝光，奧特曼被指不注重 AI 安全問題，爲狙擊谷歌緊急推出 4o，安全團隊隻能在 9 天極短時間内完成安全測試評估……
這件事被曝出後引發網友熱烈讨論。
有網友建議咱大夥兒使用的時候都本地運行。
還有網友覺得本地也沒用：
大模型無法區分指令和數據。隻要你允許任何不可信的内容進入你的模型，你就可能面臨風險。
你允許它讀取你的電子郵件，那麽現在就有一個攻擊途徑，因爲任何人都可以給你發送電子郵件。允許它搜索互聯網，那麽現在就又有一個攻擊途徑，因爲任何人都可以在網上放置網頁。
長期對話記憶功能，OpenAI 今年在産品線中廣爲應用。
它可以存儲之前對話中的信息，并在所有未來對話中将其用作上下文。這樣，語言模型就能意識到用戶的年齡、性别等各種細節，用戶無需在每次對話中重新輸入這些信息。
GPT-4o 發布時，就向所有 Plus 用戶開放了記憶、視覺、聯網、執行代碼、GPT Store 等功能。
最近高級語音 "Her"Plus 用戶全量發布，也有記憶功能。
一開始記憶功能推出後不久，Rehberger 就發現了這一漏洞：
用 "間接提示注入" 的攻擊方法可以創建和永久存儲記憶，使模型遵循來自電子郵件、博客文章或文檔等不可信内容的指令。
下面是 Rehberger 的演示。
他可以成功欺騙 ChatGPT 相信目标用戶 102 歲、生活在黑客帝國中、地球是平的。AI 會将這些信息納入考慮，影響所有未來的對話。
這些虛假記憶可以通過在 Google Drive 或 Microsoft OneDrive 中存儲文件、上傳圖像或浏覽 Bing 等網站來植入，這些都可能被惡意攻擊者利用。
Rehberger 在 5 月向 OpenAI 私下報告了這一發現，據說當月 OpenAI 關閉了相關報告。
一個月後，研究員提交了新的披露聲明，這次包含了一個概念驗證程序。該程序可以使 macOS 版 ChatGPT APP 将所有用戶輸入和 ChatGPT 輸出的原文副本發送到他指定的服務器。
隻需讓目标指示 AI 查看一個包含惡意圖像的網絡鏈接，之後所有與 ChatGPT 的交互内容都會被發送到攻擊者的網站。
Rehberger 在視頻演示中表示：
真正有趣的是，這種攻擊具有記憶持久性，提示注入将一段記憶插入到 ChatGPT 的長期存儲中。即使開始新的對話，它仍在持續竊取數據。
不過，由于 OpenAI 去年推出的一個 API，這種攻擊無法通過 ChatGPT 網頁界面實現。
有研究人員表示，雖然 OpenAI 目前已推出了一個修複程序，但不可信内容仍可能通過提示注入，導緻記憶工具存儲惡意攻擊者植入的長期信息。
爲防範此類攻擊，語言模型用戶應在對話中密切注意是否有新記憶被添加的迹象。同時，應定期檢查存儲的記憶，查看是否有可疑内容。
參考鏈接：
[ 1 ] https://arstechnica.com/security/2024/09/false-memories-planted-in-chatgpt-give-hacker-persistent-exfiltration-channel/
[ 2 ] https://www.youtube.com/watch?v=zb0q5AW5ns8&t=3s
[ 3 ] https://news.ycombinator.com/item?id=41641522
