近期 AI 領域 " 蒸餾 " 這一概念火熱，蘋果公司近期在人工智能領域的研究成果，爲蒸餾以及小模型的訓練提供了新的思路。
據媒體周二報道，通過深入分析 " 蒸餾 "（Distillation）技術的 Scaling Law，蘋果的研究人員不僅揭示了何時應該采用蒸餾、何時應該采用微調，還闡明了蒸餾技術在當前 AI 發展趨勢中的重要性。
模型蒸餾是一種将大型、複雜的模型（" 教師 " 模型）的知識遷移到小型、簡單的模型（" 學生 " 模型）的技術。其基本原理是，利用大模型生成的輸出來訓練小型模型。這種方法的核心優勢在于，通過借鑒已具備強大能力的模型的輸出，可以更容易地提升小模型的智能水平
研究發現，多次 " 蒸餾 " 更具優勢，" 教師 " 模型的性能比大小更重要。更強大的 " 教師 " ( 大模型）有時會産生更弱的 " 學生 "（小模型），兩者 " 能力差距 " 過大時反而不利于蒸餾，換句話說需要有合适的教師才能讓學習發生。
這一研究成果，有望爲業界帶來更高效、更低成本的小模型訓練方案，并推動 AI 技術的進一步普及。
正如分析指出，分布式訓練、蒸餾、聯邦推理，以及現在的蒸餾 Scaling Law，所有這些研究都指向一個基本事實：大規模、廉價、高效地推廣強大 AI 系統所需的科學正在形成。AI 系統正從少數大型計算專有孤島中轉移出來，以小模型或基于自身軌迹訓練的模型形式進入世界。這是一個重要的趨勢，将塑造整個領域。
什麽是模型 " 蒸餾 "？何時蒸餾，何時微調？
蘋果的研究人員發表了一篇關于蒸餾 Scaling Law 的分析報告，爲業界提供了一個理論基礎，以判斷何時應該從大型模型中蒸餾出一個小型模型，何時應該對小型模型進行監督微調。
蘋果和牛津大學的研究人員引入了一種蒸餾縮放定律，該定律可以根據計算預算分布預測蒸餾模型的性能，對蒸餾進行了廣泛的對照研究，學生和教師模型的參數範圍從 1.43 億到 126 億，訓練數據從幾十億 token 到 5120 億 token 不等。
蘋果的研究主要有以下幾個關鍵發現：
數據量與訓練方法的關系： " 在給定足夠的學生計算資源或 token 的情況下，監督學習總是優于蒸餾。對于有限的 token 預算，蒸餾是有利的，然而，當有大量 token 可用時，監督學習優于蒸餾。"
多次蒸餾的優勢： 當已經存在一個 " 教師模型 "，并計劃訓練多個學生模型，且這些模型相對較大時，從計算支出的角度來看，蒸餾通常效果最好。
教師模型的性能比大小更重要。 教師模型的性能水平（交叉熵損失）比其大小更重要。
選擇與學生模型相近大小的教師模型： 最佳教師模型的大小通常會增長到略大于學生模型，然後趨于穩定。
值得一提的是，蘋果提出的蒸餾 Scaling Law 定義了學生模型的性能如何取決于教師的交叉熵損失、數據集大小和模型參數。該研究确定了兩種幂律行爲之間的過渡，其中學生的學習能力取決于教師的相對能力。該研究還解決了能力差距現象，這表明更強大的教師有時會産生更弱的學生。分析表明，這種差距是由于學習能力的差異，而不僅僅是模型大小。研究人員證明，當計算資源得到适當分配時，蒸餾在效率方面可以與傳統的監督學習方法相媲美，甚至超過後者。
換句話說，你需要有合适的教師才能讓學習發生。例如：一個 5 歲的孩子或許可以從高中數學老師那裏學到一些東西，但他們很難從研究生數學導師那裏學到任何東西，事實上可能會變得困惑。
