日前,谷歌方面公布了一項名爲 " 社會學習 "(Social Learning)全新 AI 框架。據了解,該框架允許大模型通過自然語言互相學習,并号稱由于學習過程中不涉及敏感關鍵信息的直接交換,因此該框架訓練出的大模型更具隐私保護性。
對此谷歌方面表示," 大模型顯著提高了使用自然語言解決指定任務的技術水平,通常達到接近人類的性能。随着這些模型越來越多地支持輔助代理(assistive agents),他們可以有效地相互學習,就像人們在社交環境中所做的那樣 "。
具體而言,在 " 社會學習 " 框架中," 學生模型 " 會向多個已知特定任務解法的 " 教師模型 " 學習各種問題的解決方案。目前,谷歌研究人員已設計了 " 垃圾信息檢測 "、" 解決小學數學問題 "、" 根據特定文字回答問題 " 等多項測試,來評估 " 社會學習 " 框架的成效。
據谷歌方面相關研究人員透露,部分大模型隻經過短暫的 " 社會學習 " 框架訓練,便能夠能獲得良好的任務解決能力。例如在 " 垃圾消息檢測任務 " 中," 教師模型 " 會先從用戶所标記的數據中學習,然後指導 " 學生模型 " 如何區分垃圾和非垃圾信息。這種學習方法不僅提高了大模型的識别準确率,還避免了對敏感數據的直接使用,降低了個人隐私洩露的風險。
爲進一步強化隐私保護,相關 " 教師模型 " 可以依據實際數據集,合成出新的範例與 " 學生模型 " 共享。據稱合成數據集與原始數據完全不同,因此能在保證起到相同教育作用的同時,降低原始數據中隐私内容洩露的可能性。
此外值得一提的是,谷歌研究人員還嘗試了合成指令的方式,即讓 " 教師模型 " 針對特定任務生成一系列指令,然後 " 學生模型 " 依據這些指令學習如何執行任務。這種方法類似于人類按照他人的口頭指令去做事,并在實際操作中學會如何完成工作。據研究人員表示,實驗證明 " 教師模型 " 生成的指令能夠提高 " 學生模型 " 執行任務的效率,并且他們認爲,相比于零樣本學習,這顯示出大模型在遵循指令方面的強大能力。
【本文圖片來自網絡】