知识蒸馏（Knowledge Distillation）

知识蒸馏是一种将大型「教师模型」的预测知识迁移到更小「学生模型」的训练技术，让学生在参数量大幅缩减的同时尽可能保留教师的预测能力。其核心洞见在于：教师模型输出的软化概率分布（如「猫 0.7、豹 0.2、狗 0.1」）比单热标签携带更丰富的类间相似性信息，是压低部署成本的重要工程手段。

蒸馏训练的本质是用教师的软标签（soft targets）替代或补充真实的硬标签（hard labels）。

• 温度参数 T：在 Softmax 中引入温度 T，T 越大分布越平滑，类间相似信息越突出；T=1 时退化为标准 Softmax。
• 软标签：教师经高温 Softmax 后输出的概率向量，保留负标签之间的相对权重（如「猫」与「豹」比「猫」与「汽车」更接近）。
• 联合损失函数：学生损失 = α × 软标签蒸馏损失（KL 散度，使用高温 T）+ (1-α) × 硬标签交叉熵损失（T=1）。
• 推理阶段：蒸馏只影响训练过程，推理时学生独立运行，无需教师参与，延迟不受影响。

知识蒸馏经历了从工程实践到理论系统化，再到 LLM 时代核心方法的演变。

• 2006：Buciluă、Caruana、Niculescu-Mizil 在 KDD 2006 提出「模型压缩」，用神经网络模拟大型集成模型输出，是蒸馏思想最早的系统性实践。
• 2015：Hinton、Vinyals、Dean（Google）正式提出知识蒸馏，引入温度参数与软标签概念，发表于 NeurIPS 深度学习研讨会（arXiv:1503.02531）。
• 2019：Sanh 等人（Hugging Face）发布 DistilBERT，将 BERT 蒸馏为参数减少 40%、推理提速约 60% 的学生模型，保留 97% 的 GLUE 性能。
• 2022：Stanford Alpaca 用 GPT-3.5 生成 52K 指令数据微调 LLaMA-7B，将「数据蒸馏」推广至开源社区。
• 2023–2024：Phi 系列（Microsoft）、Qwen 系列（阿里巴巴）大量融入合成蒸馏语料，小参数模型在多项基准上逼近早期大模型，蒸馏成为 SLM 崛起的关键推手。

依据蒸馏信号来源与训练方式，知识蒸馏可分为以下几类。

• 基于响应的蒸馏（Response-Based）：学生仅对齐教师的最终 logits 或软标签，是最经典的 Hinton 原始方案，工程最简洁。
• 基于特征的蒸馏（Feature-Based）：学生同时学习教师中间层的特征表示，信息更丰富，但需对齐层间维度，代表工作如 FitNets（2014）。
• 基于关系的蒸馏（Relation-Based）：学生学习教师在样本对或层对之间的关系结构，而非直接复制激活值。
• 在线蒸馏：教师与学生同步训练、互相提供软标签，无需预先训练好的大模型。
• 数据蒸馏：用教师生成合成数据后对学生做 SFT，绕开直接对齐 logits 的工程难度；Alpaca、Phi 系列均属此类。

蒸馏在 NLP、视觉、语音领域均有标志性成果。

• DistilBERT（2019，Hugging Face）：BERT 蒸馏版本，参数减少 40%，推理速度提升约 60%，保留 97% 的 GLUE 性能，是 NLP 蒸馏的里程碑。
• TinyBERT（2019，华为诺亚方舟实验室）：同时蒸馏注意力矩阵、隐藏层与预测层，是多层特征蒸馏的代表工作。
• LLM 指令蒸馏：以 GPT-4 等强模型的回答为软标签，微调开源小模型（如 Alpaca、Vicuna），显著提升指令跟随能力。
• 边缘视觉：将大型目标检测模型蒸馏为轻量版本，部署于嵌入式摄像头或无人机等资源受限设备。
• 实时语音：语音识别（ASR）与 TTS 系统通过蒸馏满足低延迟要求。

知识蒸馏常与其他模型压缩方法并列，定位有所不同。

• 蒸馏 vs 量化：量化（Quantization）降低权重的数值精度（如 FP32→INT8），不改变模型结构；蒸馏训练全新的小模型，两者可叠加。
• 蒸馏 vs 剪枝：剪枝（Pruning）删除原模型中不重要的连接或神经元；蒸馏从头训练学生，不依赖原始权重。
• 蒸馏 vs 微调（SFT）：微调用真实标签调整已有模型；蒸馏的监督信号来自教师的概率分布，包含更多「暗知识」（dark knowledge）。
• 数据蒸馏 vs 知识蒸馏：数据蒸馏仅用教师生成训练数据，不直接对齐 logits，严格来说是 SFT 的变种，与原始知识蒸馏有概念边界。

蒸馏并非无损压缩，有几个需关注的问题。

• 教师质量上限：学生性能受教师限制，教师的偏见、错误与幻觉会通过软标签直接传递给学生，蒸馏数据质量决定学生能力上限。
• 容量鸿沟（Capacity Gap）：教师与学生差距过大时，学生难以拟合教师的复杂分布，可引入「中间辅助教师」逐级压缩缓解。
• 分布外泛化：学生在训练任务上可接近教师，但在未见过的分布外数据上差距往往被低估。
• 合规风险：用 GPT-4 等闭源模型的输出训练开源模型，可能违反服务条款（OpenAI ToS 明确禁止此类用途），存在法律争议。