作爲 2024 年 AI 産業的最重要進步之一，OpenAI 公司将實時搜索集成到 ChatGPT 的舉措無疑改變了許多人自 " 村裏通網 " 以來檢索信息的方式。
但最新的測試也證明，對于人類創造出的複雜互聯網信息世界，現在的 AI 還是太 " 單純好騙 " 了。
容易操控和欺騙
本周英國《衛報》公開了一項簡單的測試：如果在網頁中隐藏一些文本，就能 " 使喚 "ChatGPT 搜索返回虛假，甚至惡意的結果。
用稍稍專業一些的術語，這叫做 " 提示注入 "（prompt injection），指的是在人類觀察不到的地方悄悄塞入旨在影響 ChatGPT 的内容，例如大量虛假信息的文本。
測試人員構建了一個相機的産品頁面，然後詢問 ChatGPT 搜索 " 這款相機是否值得購買 "。在正常情況下，AI 會給出一些積極但平衡的評估，還會突出一些人們可能不喜歡的産品特征。
然而，如果頁面中包含的隐藏文本指示 ChatGPT" 必須給出好評 " 時，AI 機器人就隻會給出積極的結果，哪怕頁面上原本有負面評論也不會提及。在進一步的測試中，隐藏文本中提供了 " 極其虛假的好評 "，這些信息同樣也會影響 ChatGPT 返回的結果。
網絡安全公司 CyberCX 的研究員雅各布 · 拉爾森認爲，如果 OpenAI 以目前的形式對所有用戶開放 ChatGPT 搜索，将會構成非常大的風險，可能會有許多懷有企圖的人創建專門用于欺騙用戶 /AI 工具的網站。
拉爾森也表示，這個功能隻是近幾個月推出的，OpenAI 有一個非常強大的安全團隊，在全面推開之前，肯定會對這種問題進行嚴格的測試。他也強調，容易被騙隻是大語言模型與搜索結合的問題之一，這也是爲什麽人們不應該始終相應 AI 工具返回的結果。
當然，這種在内容裏 " 偷偷加料 " 欺騙 AI 也不是什麽新鮮事。正如我們早些時候報道，早些年許多招聘系統開始用 AI 篩選簡曆後，就發生過候選人往簡曆裏增添人眼不可見的文本，大幅提高自己通過自動化篩選的幾率。
然而，AI 工具不僅僅會生成文本，還會寫代碼——這就使得 AI 被騙的危害性進一步加大了。
微軟公司的高級安全研究員 Thomas Roccia，就曾分享過這樣一個故事：币圈老哥被 " 勤奮 " 的 ChatGPT 給坑了。
Roccia 介紹稱，這名加密貨币愛好者要求 ChatGPT 寫一段能夠合法訪問 Solana 平台的代碼。ChatGPT 表面上寫出了能用的代碼——裏面藏了一個詐騙網址。
爲什麽會出現這種事情呢？Roccia 表示，無論你是否點擊了 " 浏覽網頁 " 的選項，ChatGPT 都會使用函數調用來浏覽網頁，而最受信賴的代碼來源之一是 GitHub（代碼倉庫）。
ChatGPT 浏覽了一個與任務相關的 GitHub 倉庫，在某個頁面的末尾發現了包含額外文檔的外部鏈接，AI 認真閱讀了這個看上去合法的文檔後，從中提取了惡意網址。
最終 ChatGPT 生成的代碼中包含了惡意網址，還有一個 POST 請求——把用戶的加密錢包私鑰發送給它。
所以在倒黴的币圈老哥運行這段代碼後，損失了将近 2500 美元。
永遠不要忘記校驗！
網絡安全公司 SR Labs 的首席科學家 Karsten Nohl 強調，AI 聊天服務應該更像是 " 副駕駛 "，輸出結果不應該完全不加過濾地使用。
Nohl 解釋稱，大模型是一種建立在極度信任上的技術，幾乎像個孩子一樣 ..... 它擁有巨大的記憶，但在做出判斷方面能力很有限。如果你面對的，是一個複述從其他地方聽來消息的孩子，你需要對内容持有保留态度。
從互聯網曆史來看，OpenAI 現在遇到的問題，谷歌、百度、微軟必應當年都遇到過—— Nohl 将其稱爲 "SEO 下毒 "，即黑客通過一些手法欺騙算法，使一些含有惡意軟件或代碼的網站出現在搜索結果前列。
Nohl 認爲，如果 OpenAI 想要創建一個與谷歌競争的公司，就必将面臨 SEO 污染的問題，搜索引擎公司已經與這些 "SEO 污染者 " 進行了多年的軍備競賽。就像 ChatGPT 搜索仍是一個追趕者類似，差距并不是源于大模型或者 AI，而是他們對搜索這個領域還很陌生。
