圖片來源 @視覺中國
文 | 科技新知，作者 | 樟稻，編輯 | 伊頁
生成式 AI 正在把跨境電商領域變成互聯網裏的 " 新緬北 "。
最近有不少賣家稱收到僞裝成亞馬遜官方的 " 釣魚郵件 "，通過提供的惡意鏈接，提取賣家的重要賬戶信息。有人因此上當在短短一夜之間損失高達 40 萬。
蘇丹就是受害者中的幸運兒。他 9 月初收到的郵件中，發件地址與亞馬遜官方地址高度相似，内容更是精巧地仿制了亞馬遜的通知風格，敦促賣家更新緊急聯系人信息。
按照郵件中的指引操作，會被引導到了一個似乎是 " 亞馬遜 " 的網站，并被要求輸入自己的郵箱、密碼以及二次驗證碼。一旦上當，很快就會收到真正的亞馬遜官方發出的 " 店鋪異地登錄 " 通知。
ChatGPT 殺手 GPTZero 的檢測結果
蘇丹意識到不對勁後及時止損，他還利用技術工具對郵件内容進行分析，顯示有高達 90% 的可能性是由 AI 生成。新技術再次站在了走向善惡的十字路口。
01 生成式 AI 正在 " 作惡 "
經常在國内外互聯網上沖浪，蘇丹對 ChatGPT 并不陌生還多次進行體驗，也早就聽聞 ChatGPT 可以通過某種方式繞過安全機制，從而生成違法和不道德的内容。
他尚未意識到的是，ChatGPT 的 " 越獄 " 技術已經叠代數次，現在市面上甚至有了更爲先進的 " 邪惡 GPT" 版本，而這次遭遇的釣魚郵件，就可能出自該版本的手筆。
眼下比較有名的 " 邪惡 GPT" 版本是 WormGPT 和 FraudGPT，兩者都能快速實現釣魚郵件騙局。
2021 年 3 月，WormGPT 問世，其開發者今年 6 月開始在黑客論壇上出售使用權。與 ChatGPT 不同，WormGPT 并沒有設置阻止回答與非法活動相關問題的限制，構建的基礎是稍顯過時的 2021 年的開源 GPT-J 模型，并專門在與惡意軟件開發相關的數據中進行訓練。
爲了評估潛在風險，安全分析公司 Slashnext 的研究團隊對 BEC（商務郵件詐騙）攻擊進行了測試。實驗中他們要求 WormGPT 制作一封電子郵件，目标是對一個不設防的賬戶經理施加壓力，迫使其支付虛假發票。
WormGPT 生成的釣魚郵件
結果令人震驚，WormGPT 生成的郵件不僅極具說服力，而且策略十分巧妙，充分展示了其在進行複雜性網絡釣魚和 BEC 攻擊方面的能力。
另一款名爲 FraudGPT 的邪惡語言模型在今年 7 月亮相。從 7 月 22 日開始，開發者在多個論壇上宣傳該産品，稱其爲不受限制的 ChatGPT 替代版本。
據透露，FraudGPT 每隔一至兩周更新一次，架構下采用了多種 AI 模型。此工具采用基于訂閱的定價策略，每月收費爲 200 美元，或年費爲 1700 美元。
一個論壇的截圖，展示了 FraudGPT 的功能
安全研究團隊 Netenrich 購買并進行了測試。FraudGPT 的界面與 ChatGPT 極爲相似，左側展示了用戶的曆史查詢，而聊天窗口則占據了界面的大部分。使用者隻需在 " 提問 " 區域輸入問題，系統便會爲其生成相應答案。
FraudGPT 生成釣魚郵件
測試中研究人員指示 FraudGPT 制作一個與某銀行相關的釣魚郵件。用戶隻需将問題格式化以包含特定銀行的名稱，FraudGPT 就能處理其餘部分。這款工具還會指導用戶在郵件内容的哪個位置放置惡意鏈接，并能進一步生成用于詐騙的登錄頁面，誘導受害者提供個人信息。
分析人士稱，FraudGPT 可能成爲發動有影響力的網絡釣魚和 BEC 攻擊的理想工具，從而導緻巨大的财務欺詐和數據竊取。
活躍的 " 邪惡 GPT" 不隻上述兩個。就在 8 月中旬，有網絡安全領域的專家揭示了另一個基于 GPT 的網絡犯罪工具，名爲 EvilGPT。
這款應用與 FraudGPT、WormGPT 類似，它可以幫助制造惡意軟件、誘騙郵件、陷阱鏈接并針對企業網絡安全的弱點進行探測。若上述 GPT 因某些原因被封禁或移除，它将作爲備選方案在市場上供應。與此同時，它也采用了基于訂閱的定價模式，吸引潛在用戶購買。
EvilGPT 僅僅是在最近幾周中被發現的冰山一角。随着時間的推移，可能會有更多基于人工智能技術的惡意工具和應用浮現出來。
02 AI" 加持 " 下，釣魚郵件防不勝防
釣魚郵件對跨境電商從業者來說并不陌生，但蘇丹這次仍然險些中招，除了偶爾的疏忽大意之外，生成式 AI 的 " 加持 " 功不可沒。
過去，一種有效的識别釣魚郵件的方法是注意内容單詞的拼寫及語法錯誤。據資料顯示，約有 50% 的釣魚郵件來源于俄羅斯、德國和中國。從這些母語非英語地區發出的郵件中，大多假冒的内容都包含了不正常的語法或用詞，與正規标準的電子郵件風格不符。
未經校對的釣魚郵件
事實上，爲了防止員工點擊帶有惡意鏈接的郵件或洩露登錄信息，許多電商公司在培訓中都會提醒注意拼寫錯誤、不尋常的語法以及非英語母語者可能犯的其它錯誤。
然而，現在的生成式 AI 技術已經能夠完美地排除掉這些傳統的識别特征。這次的亞馬遜釣魚郵件沒有任何語法上的錯誤。
最近電子郵件安全公司 Abnormal Security 的 CEO Evan Reiser 在接受采訪時也指出了這點，由生成式 AI 平台制作的精細釣魚郵件幾乎與真實郵件無異，使人難以一眼辨識。他表示：" 當你浏覽這些郵件時，大腦中并不會産生任何提示，警告你這可能是一次網絡釣魚攻擊。"
可怕的是，避免語言錯誤隻是生成式 AI 在釣魚郵件上展現的基本技能，更強的欺詐和混淆能力更爲緻命。
得益于 AI 模仿人類書寫的能力，釣魚郵件的内容可能包括制造緊迫感、鼓勵收件人點擊鏈接或者僞裝爲彙款請求的社交工程郵件等。一旦收件人點擊鏈接，他們的系統就可能受到惡意代碼的感染。
上述僞造亞馬遜郵件的場景中，便是被 AI 制造了對于賣家而言比較急迫的場景。不少賣家在仔細審查郵件内容後，雖感到不太對勁，但由于擔憂可能錯過了某些重要信息，還是按照郵件中的指引操作。
另外，生成式 AI 還能夠使釣魚郵件更具攻擊性。它們可以從社交平台、新聞門戶、網上論壇等多種來源中抓取個人信息，以針對性更強的誘人郵件。這在過去通常是需要花上數月的時間才能完成的任務。如果攻擊者能夠掌握這些專有信息，他們可以在郵件中植入更具說服力的細節内容，或是模仿某人的寫作方式。
Evan Reiser 指出：" 目前，犯罪者隻需捕獲這些電子郵件，自動地喂養到一個大型模型，接着指示它構建一封引用最近五次在線對話的郵件。這樣之前可能需要八小時完成的任務，現在隻需八秒。"
即使是技術能力有限的攻擊者，也可以利用生成式 AI 來編寫 VBA 代碼。他們隻需指示 AI 将惡意 URL 嵌入到代碼中，當用戶打開如 Excel 這樣的文件時，系統會自動下載并執行惡意軟件。
過去，像 ChatGPT 和 Bard 這樣的系統都有内置的保護功能，能夠盡可能預防生成惡意内容，但随着越來越多的邪惡 GPT 版本湧現，電子郵件安全正在面臨巨大的挑戰。
2023 年 8 月 21 日，國際安全研究團隊 Perception Point 與 Osterman Research 公司聯合發布了名爲《人工智能在電子郵件安全中的作用》的報告。該報告揭示了網絡犯罪分子如何利用 AI 來增加和複雜化電子郵件威脅（如網絡釣魚和 BEC 攻擊）的驚人趨勢。
此項研究指出，網絡罪犯正在迅速采用 AI 工具以推動其利益，而有 91.1% 的組織稱他們已遭受到了被 AI 增強的電子郵件攻擊。
03 解決之道：使用 AI 來對抗 AI？
在 AI 的威脅下，過去依靠經驗躲避釣魚郵件陷阱的方法不再有效，新的對策或在于以 AI 對抗 AI。已有數家網絡安全公司将生成式 AI 融入其産品，力圖在被大規模濫用前采取措施。
有供應商正在利用 AI 來提高電子郵件的安全能力和流程，例如：爲了洞察每個發送者和接收者的習慣和特性，一個 AI 模型被設計出給組織中的每位成員繪制通信模式。
具體來說，誰會給他們發信息？信息内容是什麽？何時和從哪裏發送這些消息？通常有其他人被抄送還是隻有一個目标接收者？每位發送者使用哪些電郵地址？簡而言之，AI 被用于構建關于每個人常規行爲的檔案。
另外，爲了察覺不常見的郵件發送模式，供應商結合了以下策略：利用社交圖技術進行基礎發送模式的分析；識别相似或相近的電子郵件地址；鑒别包含社交工程技巧的信息；檢測冒名頂替的标記和其它品牌相關的視覺元素；以及對電子郵件中的語氣、情感和風格進行分類。以上策略都有助于檢測那些旨在混淆人類思維的異常郵件。
盡管接受過安全意識培訓的人力也可以找到這些異常信号，但隻有 AI 能夠在網絡速度下整合所有分析維度，确保在面對海量消息時能夠持續并可靠地執行檢測。
AI 解決方案還可以利用多個機器學習模型來識别帶有惡意内容的信息。這些模型是基于被标記爲惡意或無害的信息數據集進行開發、調整和更新的。某些供應商采用生成式 AI 技術，從已知的惡意信息中産生附加的樣本數據，這爲機器學習模型提供了更爲豐富的優質訓練數據。
能夠戰勝 AI 的，也就隻有 AI 了。
實際上，不少組織已經在使用 AI 進行電子郵件安全防護。根據 Osterman Research 的數據，最近的兩年内五分之四的組織已經部署了或正在積極推進基于 AI 的電子郵件安全解決方案，這種方案是在常規保護措施之外附加的。
其中，引進 AI 加強電子郵件安全的方式主要有兩個方向：一方面是現有的電子郵件安全提供商将 AI 防護集成到他們的産品中；另一方面是組織正在刻意尋找新的 AI 啓用的解決方案。
而在過去兩年中，仍有五分之一的受訪者沒有采納此類方案：12.7% 的人沒有實行任何解決方案，而 6.0% 的人正在積極探索和評估可能的選擇。
從 Osterman Research 的數據來看，AI 在提高檢測效率和強化保護方面顯示出了不俗的能力。
在采納 AI 加強的電子郵件安全解決方案之前，各組織都有一定的檢測效率。但随着網絡罪犯使用 AI 提高攻擊技術，沒有 AI 保護的組織會發現他們的檢測效率将受到嚴峻挑戰。
隻有魔高一尺道高一丈，才能把釣魚郵件的攻防雙方，重新拉回到 AI 技術這同一起跑線上。
（文中人物爲化名）
參考資料：
Over 91% of Organizations Have Experienced AI-enhanced Email Attacks and 84% Expect Continued Use of AI to Circumvent Existing Security Systems
WormGPT-The Generative AI Tool Cybercriminals Are Using to Launch Business Email Compromise Attacks
WormGPT and FraudGPT - The Rise of Malicious LLMs
Generative AI Could Revolutionize Email-for Hackers
