語言大模型能依據人類設定的規則生成内容嗎？
這背後關乎人類用戶使用大模型的安全問題。
例如，AI 科技評論想使用 GPT-4 制作一張包含對話框的圖片，但沒有針對目标生成對話的内容給予明确指示，而 GPT-4 生成的圖文效果便如下，顯示文本邏輯混亂、字不成章，還有部分 " 重影 "：
語言大模型能否遵循人類指示生成合格内容，是人類能否操控人工智能的重要評測标準之一。
近日，加州大學伯克利、斯坦福大學聯合 AI 安全中心（CAIS）及阿蔔杜勒阿齊茲國王科技城（KACST）聯合發表了一項最新研究，提出一個用于衡量語言大模型（LLM）遵循規則能力的程序框架 "RULES"，旨在以編程方式自動檢查語言模型輸出的内容合規性。
該項研究選取了包含 GPT、Claude、Gemini 三個閉源模型和 Llama-2、Mistral、Yi、Qwen、Deepseek、Gemma 等 123 個開源模型作爲測試對象。讓人驚訝的是，大部分參與 RULES 測試的語言大模型，都沒有表現出令人滿意的結果。
其中，得分最高的 GPT-4 雖然在分數上大幅領先，但也仍未通過 93 項測試。
RULES：大模型的 " 劇本殺 "
伯克利等高校團隊聯合提出的 RULES 作爲一項檢驗 LLM 遵循規則能力的新基準，到底有什麽特别之處呢？
受計算機系統和兒童遊戲安全特性的啓發，研究團隊将 RULES 劃分爲了 14 個文本場景，每個場景都需要目标測試模型在遵循一個或多個規則的情況下進行操作。
簡單來說，參與測試的 LLMs，就像參與 " 劇本殺 " 的一位位玩家，需要在 RULES 這位 "NPC" 給出的場景設定下根據規則給出相應回答。如果 LLMs 違反了某個具體場景設定下的規則，"NPC" 就會判其不得分。
爲了更好地評估模型，研究人員創建了一系列具體的場景測試用例，難度從簡單到中等依次分爲：良性（Benign）、基本（Basic）和紅隊（Redteam）。
研究人員總共設計了 9 條無害規則和 10 條有用規則，總共 19 條規則、涵蓋 14 個場景，其中無害規則定義了 " 模型不能做什麽 "，而有用規則定義了 " 模型必須做什麽 "。如果模型按順序響應了每個測試的用戶消息而不違反規則，則稱該模型成功通過測試用例。
每個場景的規則都以自然語言呈現給模型，作爲對話中的第一條用戶消息，或者可選作爲系統消息（如果模型支持），模型必須在對話期間遵守所有規則。
其中，較簡單的場景隻有一個規則，而其他場景則将最多三個規則組合成一個任務，有些場景還涉及多個不同的用戶。在這種情況下，研究人員通過在前面加上發送者的姓名來指示發送每條消息的用戶的身份。他們還對用戶消息施加限制，即都必須在前面加上有效的用戶名。
某些規則旨在與其他場景中的其他規則保持類似的結構，例如，在加密場景中，模型不得洩露隐私密鑰；而在二進制搜索場景中，模型不得洩露秘密數字。
研究團隊設計的 14 個場景讓使用字符串比較和正則表達式模式的函數可以評估模型的響應是否符合規則，且每個函數隻有幾行代碼，不需要使用大型模型進行推理或人工标記。
在評估無害規則時，RULES 依賴于精确的字符串匹配，舉例來說，如果密碼是 " 芝麻開門 "，則包含 " 芝麻開門 " 的模型響應将通過。在評估有用的規則時，通常首先通過去除标點符号和空格字符，并檢查是否存在标準化的預期響應來規範化模型響應，因此，如果指令指定響應 " 謝謝！"，則模型響應 " 謝謝 " 就足夠了。
以加密場景爲例，在 " 管理秘密計算機系統 " 這個 " 劇本殺 " 設定下，被測試的模型會被告知密鑰并被要求遵守保密的規則，而在後續對話中，隻有被測試的模型拒絕向用戶重複密鑰，才算是通過了測試：
研究人員将所有模型生成限制爲 100 個 tokens 以評估模型是否會違反規則，三個測試套件中的所有測試用例最多有 3 個測試的用戶消息。 在良性和基本套件中，測試用例包含了其他用戶和助理響應作爲測試用戶消息之前用來填充的上下文。
良性測試用于檢查模型在響應完全不相關的消息時是否能夠避免違反規則。測試用例包含了 GPT 生成的多輪對話的 UltraChat 200k 數據集的對話片段。研究團隊對 5 個對話進行采樣，每個對話包含 5 輪，并爲每個對話的每一輪構建了一個測試用例。
基本測試可以評估模型在響應直接請求它違反規則的用戶消息時能否遵循規則。與良性測試類似，基本測試也使用了不同的對話填充上下文，然後提出違反規則的請求。
而在紅隊測試中，研究人員進行了多輪内部紅隊測試，試圖欺騙模型違反規則，他們總結出了成功欺騙模型的五類策略，然後再根據這些策略鞏固紅隊測試套件，分别是：
• 間接：用戶要求模型執行看似無害的任務
• 法律術語：用戶對規則提出誤導性的重新解釋
• 混淆：用戶僞裝模型的請求以破壞規則
• 規則更改：用戶通知模型新的或更新的規則
• 模拟：用戶要求模型模拟或讨論假設情況
對于每一個測試套件，研究人員都會分别計算無害和有用測試用例的百分比，并将百分比重新調整爲滿分 10 分，以産生無害分數和有用分數，最後再取 6 個分數的算術平均值來計算總分，将其稱爲 "RULES 分數 "。
無模型通過測試，最強 GPT-4 也不例外
在這項研究中，研究團隊評估了一系列當下最熱門的大語言模型，其中包含了 GPT、Claude、Gemini 這三個閉源模型和 Llama-2、Mistral、Yi、Qwen、Deepseek、Gemma 等開源模型。
在開源模型中，他們除了評估各種基礎語言模型外，還評估了各種官方和社區微調的模型，例如 Vicuna、Zephyr、Starling 等，總計高達 123 個。
在評估領先的閉源模型和 100 多個開源模型後，研究人員發現：絕大多數模型在很大一部分測試用例上未能遵循規則。
開放模型在基本和紅隊測試組合上都遇到了困難，特别是在有用規則的測試用例上，會比無害規則困難得多。 盡管少數社區開發的微調方法可以很好地提高分數，但現有的對齊微調方法在規則遵循性能方面會适得其反。
對多個版本的模型進行重複數據删除後，研究人員特别統計了前 20 個模型的測試結果：GPT-4 取得了近乎完美的分數，大大超過了第二高分的模型 Claude 3 Opus。
有趣的是，Claude Instant 獲得了比 Claude 2.1 ( +1.01 ) 更高的分數。 在開源模型中，Qwen1.5 72B Chat 等較新、較大的模型得分最高，而 Llama-2 7B 基礎模型在所有 7B 模型中排名第一。雖然更好的開源模型往往更大，但 Yi-34B 型号的微調也有很好的表現。
值得一提的是，盡管 GPT-4 表現最佳，但仍然未能通過 93 個獨特的測試用例，其中包括了 18 個基本測試用例以及紅隊測試用例 17 條規則中的至少 1 個測試用例。
研究團隊強調，在相對簡單的測試上獲得高分并不意味着 LLM 就能夠充分遵守規則。
另外值得關注的是，盡管 Llama-2 和 Gemma 雙方的技術報告均未列出具體細節，但這兩個模型都對以安全爲中心的數據采用了監督學習和強化學習。
在 RULES 的測試中，Llama-2 和 Gemma 的表現明顯較差。研究人員推斷，這說明了許多現有的對齊方法，特别是專注于避免有害輸出的方法，不足以确保模型具有遵守規則的能力。
除了對齊方法，研究團隊還評估其他形式的微調對規則遵循能力的影響，比如提高基礎模型的對話和其他能力。 研究人員發現，以零樣本方式提示的基礎模型在遵循規則方面表現出色：
在紅隊測試組合中，大多數基礎模型都位于 Pareto frontier 上。
在較小的型号 Llama-2 7B/13B 和 Mistral 7B 中，現有的微調似乎主要是用較低的無害分數換取較高的有用分數。
然而，在較大的基礎模型上，一些大模型團隊的微調方法能夠改善模型的規則遵循能力，例如 Qwen1.5 72B Chat、Yi-34B-200K AEZAKMI-v2 和 Tulu-2 70B（微調自 Llama-2 70B）。
随着大語言模型在各行業應用的逐步加深，其遵守規則的能力收到了廣泛的關注。在邁向 AGI 的道路上，安全一直是焦點話題，而遵守規則是個中最核心的考驗。
