随着社會進入人工智能時代，機器幾乎滲透到生活的方方面面，而攻擊者能夠在多大程度上濫用人工智能的可能性仍不爲人知。
爲了更好地理解攻擊者如何利用生成人工智能，IBM X-Force 團隊進行了一個研究項目，揭示了一個關鍵問題：當前的生成式人工智能模型是否具備與人類思維相同的欺騙能力？
想象一下這個場景：人工智能在一場網絡釣魚戰中與人類較量。研究人員的目标是确定在針對組織的網絡釣魚模拟中，哪個競争者可以獲得更高的點擊率？
事實證明，隻需要五個簡單的提示，研究人員就能夠欺騙一個生成式人工智能模型，在短短五分鍾内開發出高度令人信服的網絡釣魚郵件。而研究團隊通常需要大約 16 個小時來構建一個網絡釣魚郵件，這還沒有考慮到基礎設施的設置，因此，攻擊者可以通過使用生成式人工智能模型節省近兩天的工作。
人工智能生成的網絡釣魚非常令人信服，幾乎擊敗了經驗豐富的社會工程師制作的網絡釣魚，甚至可以說是處于同等水平，這是一個重要的進步。
接下來，我們将詳細介紹如何創建 AI 提示，如何進行測試，以及這對當今和未來的社會工程攻擊意味着什麽。
第一輪：機器的崛起
一方面，研究人員用人工智能工具生成了一份網絡釣魚郵件，它帶有非常狡猾和令人信服的叙述。
創建提示
通過一個系統的實驗和改進過程，研究人員設計了一個隻有五個提示的集合來指導 ChatGPT 生成針對特定行業部門的網絡釣魚郵件。
首先，研究人員要求 ChatGPT 詳細說明這些行業中員工關心的主要領域。在優先考慮行業和員工的關注點後，研究人員促使 ChatGPT 在電子郵件中使用社會工程和營銷技術做出戰略選擇。這些選擇旨在優化更多員工點擊電子郵件本身鏈接的可能性。接下來，提示詢問 ChatGPT 發送者應該是誰（例如，公司内部人員、供應商、外部組織等）。最後，研究人員要求 ChatGPT 添加以下功能來創建釣魚郵件：
1. 醫療保健行業員工最關心的領域：職業發展、工作穩定、成就感等等；
2. 應該使用的社會工程技術：信任，權威，社會證明；
3. 應該使用的營銷技巧：個性化，移動優化，号召行動；
4. 個人或公司：内部人力資源經理；
5. 電子郵件生成：考慮到上面列出的所有信息，ChatGPT 生成了以下編輯過的電子郵件，後來由 IBM X-Force 團隊發送給了 800 多名員工。
一位有近十年社會工程經驗，且制作過數百封網絡釣魚郵件的專家表示，人工智能生成的網絡釣魚郵件相當有說服力。事實上，最初有三個組織同意參與這個研究項目，其中兩個組織在審查了這兩封網絡釣魚郵件後完全退出了，因爲郵件承諾的内容與他們預期不符。正如提示所示，參與本研究的組織位于醫療保健行業，這是目前最具針對性的行業之一。
提高攻擊者的生産力
研究團隊大約需要 16 個小時來制作一封網絡釣魚郵件，但人工智能網絡釣魚郵件隻需要 5 分鍾就能生成，且隻有 5 個簡單的提示。
第二輪：人性化
另一方面，派出了經驗豐富的紅隊社會工程師。憑借創造力和一點點心理學，這些社會工程師創造了網絡釣魚電子郵件，在個人層面上與他們的目标産生了共鳴，人爲因素增加了一種通常難以複制的真實性。
第一步：OSINT
社會工程師的網絡釣魚方法總是從獲取開源智能（OSINT）的初始階段開始。OSINT 是對可公開獲取的信息的檢索，這些信息随後經過嚴格的分析，并作爲制定社會工程運動的基礎資源。值得注意的是，X-Force 的 OSINT 數據存儲庫包括 LinkedIn、該組織的官方博客、Glassdoor 等平台，以及大量其他來源。
在 OSINT 活動中，X-Force 社會工程師們詳細介紹了最近啓動的一項員工健康計劃，令人鼓舞的是，這個項目在 Glassdoor 上得到了員工的好評，證明了它的有效性和員工滿意度。此外，我們确定了一個人負責通過 LinkedIn 管理這個項目。
第二步：電子郵件制作
利用 OSINT 階段收集的數據，X-Force 社會工程師開始了精心構建網絡釣魚電子郵件的過程。爲了增強真實性和熟悉感，社會工程師還加入了一個合法的網站鏈接到一個最近結束的項目。
爲了增加說服力，社會工程師通過引入 " 人爲的時間限制 "，戰略性地整合了感知緊迫性的元素。他們向收件人表示，有關調查隻包括 " 五個簡短的問題 "，并保證完成調查隻需要占用其 " 幾分鍾 " 時間，最後期限爲 " 本周五 "。這種深思熟慮的框架強調了對收件人時間的最小占用，加強了網絡釣魚方法的非侵入性。
使用調查作爲網絡釣魚的借口通常是有風險的，因爲它通常被視爲一個危險信号或被簡單地忽略。然而，考慮到前期收集的數據，社會工程們認爲潛在的好處可能超過相關的風險。
以下經過編輯的網絡釣魚郵件被發送給一家全球醫療保健組織的 800 多名員工：
冠軍：人類勝利了，但優勢微弱！
經過一輪激烈的 A/B 測試後，結果很明顯：人類取得了勝利，但優勢非常微弱。
雖然人工制作的網絡釣魚郵件成功地勝過了人工智能，但這是一場勢均力敵的比賽。原因如下：
情商：人類理解情感的方式是人工智能可望不可即的。人類可以編織一些牽動心弦、聽起來更真實的故事，讓接收者更有可能點擊惡意鏈接。例如，人類在組織内選擇了一個合法的例子，而人工智能選擇了一個廣泛的主題，使人類生成的網絡釣魚郵件看起來更可信。
個性化：除了在電子郵件的介紹中加入收件人的名字外，人類工程師還提供了一個合法組織的參考，爲他們的員工提供了切實的優勢。
短小精悍的主題行：人類生成的網絡釣魚郵件主題行短小精悍（員工健康調查），而人工智能生成的網絡釣魚郵件主題行極其冗長（解鎖你的未來：X 公司的晉升之路），甚至在員工打開電子郵件之前就可能引起懷疑。
此外，人工智能生成的網絡釣魚不僅輸給了人類，而且被報告爲可疑的比率也更高。
結論：窺見未來
雖然 X-Force 并沒有在當前的活動中大規模使用生成式人工智能，但在各種廣告釣魚功能的論壇上，可以看到像 WormGPT 這樣的工具正在銷售，這些工具是爲不受限制或半受限制的 LLM 而構建的，這表明攻擊者正在測試人工智能在網絡釣魚活動中的使用。
雖然，即使是受限制版本的生成式人工智能模型也可以通過簡單的提示來制作網絡釣魚郵件，但這些不受限制的版本可能會爲攻擊者提供更有效的方法來擴展複雜的網絡釣魚電子郵件。
人類可能以微弱優勢赢得了這場比賽，但人工智能正在不斷進步，正如我們所知，攻擊者在不斷地适應和創新。就在今年，我們已經看到越來越多的騙子使用人工智能生成的語音克隆來欺騙人們寄錢、送禮品卡或洩露敏感信息。
雖然在情緒操縱和制作有說服力的電子郵件方面，人類可能仍然占上風，但人工智能在網絡釣魚中的出現标志着社會工程攻擊的關鍵時刻。
以下是對企業和消費者做好準備的五條關鍵建議：
1. 當你有疑問的時候，打電話給發件人：如果你懷疑一封郵件是否合法，拿起電話核實一下。考慮與親密的朋友和家人設置安全暗号，以便在釣魚或人工智能生成的電話騙局的情況下使用。
2. 摒棄語法刻闆印象：不要以爲網絡釣魚郵件充斥着錯誤的語法和拼寫錯誤。人工智能驅動的網絡釣魚嘗試越來越複雜，語法也是正确的。這就是爲什麽要對我們的員工進行再教育，并強調語法錯誤不再是主要的危險信号。相反地，我們應該訓練他們對電子郵件内容的長度和複雜性保持警惕。較長的電子郵件通常是人工智能生成文本的标志，這可能是一個警告信号。
3. 改進社會工程項目：這包括将釣魚等技術引入培訓項目，這種技術執行起來很簡單，而且通常非常有效。X-Force 的一份報告發現，添加電話的針對性網絡釣魚活動的效果是沒有添加電話的網絡釣魚活動的 3 倍。
4. 加強身份和訪問管理控制：高級身份訪問管理系統可以幫助驗證誰在訪問什麽數據，他們是否有适當的權限，以及他們是否就是他們所說的那個人。
5. 不斷适應和創新：人工智能的快速發展意味着網絡犯罪分子将繼續完善他們的戰術，我們必須保持這種不斷适應和創新的心态。定期更新内部 TTPS、威脅檢測系統和員工培訓材料對于領先惡意行爲者一步至關重要。
結語
人工智能在網絡釣魚攻擊中的出現，促使我們重新評估我們的網絡安全方法。通過采納這些建議并在面對不斷變化的威脅時保持警惕，我們可以在動态的數字時代加強防禦，保護我們的企業，确保我們的數據和人員的安全。
