Knowledge Distillation（知识蒸馏）

知识蒸馏的发展可追溯至 2006 年 Rich Caruana 等人的工作，他们证明了可以通过训练单个模型模仿集成模型的 log 概率来转移知识。

2015 年，Geoffrey Hinton 等人在论文「Distilling the Knowledge in a Neural Network」中正式提出「蒸馏」概念，引入 softmax 温度参数 t 来控制输出分布的平滑度。

2020-2026 年，知识蒸馏在大语言模型时代获得新生：DistilBERT（2019）将 BERT 压缩到 66M 参数，保留 97% 性能；TinyLlama（2023）通过蒸馏将 Llama 2 70B 的能力迁移到 1.1B 模型；DeepSeek-R1（2025）通过蒸馏将推理能力迁移到 7B 模型。

2026 年，知识蒸馏已成为端侧 AI 的标准技术路径。

知识蒸馏按转移的知识类型分为三大范式。响应蒸馏（Response Distillation）：学生模型学习教师模型的输出分布（软标签），这是 Hinton 原始论文的方法，使用交叉熵损失和高温 softmax。

特征蒸馏（Feature Distillation）：学生模型学习教师模型中间层的特征表示，如 FitNets（2014）让学生模型模仿教师模型的隐藏层激活。

关系蒸馏（Relation Distillation）：学生模型学习样本之间的关系结构，如 RKD（2019）让学生模型保持教师模型中样本间的距离和角度关系。

2026 年的趋势是自蒸馏（Self-Distillation）和多教师蒸馏（Multi-Teacher Distillation）——前者让模型在训练过程中蒸馏自己的知识，后者从多个教师模型集成知识。

2026 年，知识蒸馏已成为端侧 AI 部署的核心技术。DeepSeek-R1 通过蒸馏将推理能力迁移到 7B 模型，在 SWE-bench 上达到 60% 解决率。TinyLlama 通过蒸馏将 Llama 2 70B 的能力迁移到 1.1B 模型，可在手机本地运行。

端侧部署：iPhone 17 Pro 的统一内存为 12GB，高通骁龙 8 Gen 4 的 NPU 算力约 75 TOPS，通过蒸馏的 7B 模型可在这类设备上实时运行。能耗优化：一个万亿参数模型的单次推理能耗约是 7B 模型的 100 倍，通过蒸馏可将能耗降低一个数量级。

开源生态：Hugging Face 的 Distillation Cookbook 提供了标准化的蒸馏流程，支持 PyTorch、TensorFlow、JAX 等主流框架。