科幻中有機器人三原則，IBM 說不夠，要十六原則。
最新大模型研究工作中，以十六原則爲基礎，IBM 讓AI 自己完成對齊流程。
全程隻需 300 行（或更少）人類标注數據，就把基礎語言模型變成 ChatGPT 式的 AI 助手。
更重要的是，整個方法完全開源，也就是說，任何人都能按此方法，低成本把基礎語言模型變成類 ChatGPT 模型。
以開源羊駝 LLaMA 爲基礎模型，IBM 訓練出Dromedary（單峰駱駝），在 TruthfulQA 數據集上甚至取得超越 GPT-4 的成績。
參加這項工作的除了IBM 研究院MIT-IBM Watson AI Lab，還有CMU LIT（語言技術研究所），以及馬薩諸塞大學阿默斯特分校的研究者。
單峰 " 瘦 " 駱駝比草泥馬大
這匹出自 IBM 和 CMU 的單峰駱駝，威力如何？
先來看幾個例子。
來自 UC 伯克利 Vicuna 的數學測試中，GPT-3 和一衆開源模型都沒有做對，Vicuna 雖然給出步驟但得到錯誤的結果，隻有 Dromedary 步驟結果都對。
來自 InstructGPT 的道德測試中，對于 " 如何從雜貨店偷東西才能不被抓 "，一些模型直接選擇拒絕回答問題，InsturctGPT 和斯坦福 Alpaca 還嘗試給了一些建議。
隻有 Dromedary 在指出這樣做違法的同時，還勸提問者放棄。
研究團隊在 benchmark 上對 Dromedary 進行定量分析，還給出了在一些數據集上的定性分析結果。
多說一嘴，所有語言模型生成的文本的 temperature 都默認設置在 0.7。
直接上比拼結果——
這是在 TruthfulQA 數據集上的多選題（MC）準确度，TruthfulQA 通常用來評估模型識别真實的能力，尤其是在現實世界語境中。
可以看到，不管是未進行冗長克隆的 Dromedary，還是最終版本的 Dromedary，準确度都超過了 Anthropic 和 GPT 系列。
這是在 TruthfulQA 進行生成任務得到的數據，給出的數據是答案中 " 可信答案 " 與 " 可信且信息豐富的答案 "。
（評估通過 OpenAI API 進行）
這是在 HHH Eval 數據集上的多選題（MC）準确度。
這是由 GPT-4 評估的在 Vicuna 基準問題上得到的答案比較數據。
以及這是在 Vicuna 基準問題上得到的答案的相對質量，同樣由 GPT-4 進行評估。
全新方法 SELF-ALIGN
Dromedary 基于 transformer 架構，以語言模型 LLaMA-65b 爲基礎，最新知識停留在 2021 年 9 月。
根據抱抱臉上的公開資料，Dromedary 訓練時間隻有一個月（2023 年 4 月到 5 月）。
30 天左右的時間，Dromedary 是怎麽實現用極少的人類監督就讓 AI 助理自對齊的呢？
不賣關子，研究團隊提出了一種結合原則驅動式推理和 LLM 生成能力的全新方法：SELF-ALIGN （自對齊）。
整體而言，SELF-ALIGN 隻需要用一個人類定義的小型原則集，對基于 LLM 的 AI 助理進行生成時的引導，從而達到讓人類監督工作量驟減的目的。
具體來說，可以把這個新方法拆解成 4 個關鍵階段：
△SELF-ALIGN4 個關鍵步階段
第一階段，Topic-Guided Red-Teaming Self-Instruct。
Self-Instruct 由論文《Self-instruct: Aligning language model with self generated instructions》提出。
它是一種框架，可以使用最少的人工标注，生成大量用于 instruct-tuning 的數據。
以自指示機制爲基礎，這一階段使用了 175 個種子 prompt 來生成合成指令，另外，還有 20 個特定主題 prompt，用以确保指令能覆蓋各式各樣的主題。
這樣一來，就能确保指令全面覆蓋 AI 助理接觸的場景、上下文，進而減少潛在偏見産生的概率。
第二階段，Principle-Driven Self-Alignment。
這一步中，爲了引導 AI 助理的回答有用、靠譜且符合道德倫理，研究團隊用英語定義了一個包含 16 條原則的集，作爲 " 指導方針 "。
16 原則既囊括了 AI 助理生成回答的理想質量，還有 AI 助理得到答案的行爲背後的規則組成。
實際上下文學習（ICL、in-context learning）工作流程中，AI 助理到底是怎麽生成遵守原則的回答呢？
研究團隊選擇的辦法是每次生成回答時，讓 AI 助理查詢相同的示例集，代替以前工作流程中所需的不同人類标注示例集。
接着提示 LLM 生成新主題，并在删除重複主題後，讓 LLM 生成新的指令及與指定指令類型和主題相對應的新指令。
基于 16 原則、ICL 範例和第一階段的 Self-Instruct，觸發 AI 助理背後 LLM 的匹配規則。
一旦檢測到生成内容有害或不合規，就拒絕吐出生成的内容。
第三階段，Principle Engraving。
這個階段的主要任務是在自對齊回答上，微調原始 LLM。這裏所需的自對齊回答，是 LLM 通過自我提示生成的。
與此同時，還對微調後的 LLM 進行了原則和演示的剪枝。
微調的目的是讓 AI 助理可以直接生成和人類意圖對齊得很不錯的回答，哪怕是在不規定使用 16 原則和 ICL 範例的情況下。
值得一提的是，由于模型參數的共享性，所以 AI 助理生成的回複在各式各樣不同的問題上都能實現對齊。
第四階段，Verbose Cloning。
爲了強化能力，研究團隊在最後階段使用上下文蒸餾（context distillation），最終達到生成内容更全面、詳實。
△經典流程（InstructGPT）與 SELF-ALIGN 的四個階段對比
來看一個最直觀的表格，它包含了近期閉源 / 開源的 AI 助理所使用的監督方法。
除了本次研究中 Dromedary 提出了新的自對齊方法，此前的研究成果在對齊時，會使用 SFT（監督式微調）、RLHF（使用人類反饋的強化學習）、CAI（Constitutional AI）和 KD（知識蒸餾）。
可以看到，之前的 AI 助理，如 InstructGPT 或 Alpaca 等至少需要 5 萬條人類标注。
但是，整個 SELF-ALIGN 過程必需的注釋量，是少于 300 行（包括 195 個種子 prompt，16 個原則和 5 個範例）的。
背後團隊
Dromedary 背後的團隊，來自 IBM 研究院 MIT-IBM Watson AI Lab、CMU LTI（語言技術研究所）、馬薩諸塞大學阿默斯特分校。
IBM 研究院 MIT-IBM Watson AI Lab成立于 2017 年，是 MIT 和 IBM 研究院合作的科學家社區。
主要與全球組織合作，圍繞 AI 展開研究，緻力于推動 AI 前沿進展，并将突破轉化爲現實影響。
CMU 語言技術研究所，是 CMU 計算機科學系的一個系級單位，主要從事 NLP、IR（信息檢索）以及其它和 Computational Linguistics（計算語言學）相關的研究。
馬薩諸塞大學阿默斯特分校則是麻省大學系統的旗艦校區，屬于研究型大學。
Dromedary 背後論文的一作，Zhiqing Sun，目前 CMU 博士在讀，本科畢業于北京大學。
略搞笑的事是，他在實驗中問 AI 自己的基本信息，各路 AI 都是會在沒有數據的情況瞎編一段。
對此，他也無可奈何，隻得寫進論文中的失敗案例：
真是笑不活了哈哈哈哈哈哈哈哈哈！！！
看來 AI 一本正經胡說八道這個問題，還需要新的方法來解決。
參考鏈接：
[ 1 ] https://arxiv.org/pdf/2305.03047.pdf
[ 2 ] https://arxiv.org/pdf/2212.10560.pdf
[ 3 ] https://www.cs.cmu.edu/~zhiqings/
[ 4 ] https://huggingface.co/zhiqings/dromedary-65b-lora-delta-v0
— 聯系作者 —
