过拟合

过拟合指模型在训练数据上表现优异，却在未见过的新数据上准确率大幅下降的现象。它是机器学习实践中最常见的陷阱之一，根源在于模型将训练集中的噪声和随机波动也「记住」了，而非真正学到可泛化的规律。

过拟合描述的是「学过头」的状态：模型参数过多或训练时间过长，开始记忆训练样本的噪声细节而非规律。

• 泛化误差：训练误差低而测试误差高，两者之间的差距是过拟合程度的直接量化指标。
• 根本原因：模型容量（capacity）远大于数据所能支撑的有效信息量。
• 直觉类比：学生死记历年真题答案，一旦换题型就束手无策——「背题不会举一反三」。
• 对立概念：欠拟合（underfitting）是模型容量不足，连训练集规律也无法学到，对应高偏差状态。

过拟合与欠拟合本质上是偏差（bias）与方差（variance）之间的取舍，由 Geman et al.（1992）正式表述。

• 高偏差：模型过于简单，无法捕获真实规律，对应欠拟合。
• 高方差：模型对训练集微小变动极为敏感，换一批数据就产生截然不同的预测，对应过拟合。
• 最优区间：存在一个「甜蜜点」，使总期望误差（偏差²＋方差＋不可约噪声）最小。
• 双降现象：Belkin et al.（2019）在 PNAS 发表实证研究，超大规模模型在参数量远超样本数后，测试误差可能再度下降，挑战了经典权衡假设。

早发现、早干预是应对过拟合的基本策略。

• 训练/验证损失曲线：训练损失持续下降而验证损失开始回升，是最典型的过拟合信号。
• 学习曲线分析：增加训练数据量后，若验证误差显著改善，说明数据量不足是主因。
• K 折交叉验证：轮流使用不同子集作验证集，可更可靠地估计模型真实泛化能力，减少单次划分偶然性。
• 严格测试集隔离：测试集不得参与任何超参数调整；否则会对测试集产生隐性过拟合，导致评估虚高。

正则化通过限制模型复杂度来缩小训练误差与验证误差的差距。

• L2 正则化（权重衰减）：在损失函数中加入参数平方和惩罚项，让权重趋向小值，是最常用的正则化方式。
• L1 正则化：惩罚项为参数绝对值之和，可产生稀疏权重，具有自动特征选择效果。
• Dropout：训练时随机将部分神经元输出置零，迫使网络学习冗余表示；由 Srivastava et al. 于 2014 年在 JMLR 系统阐述。
• 数据增强：对训练样本做翻转、裁剪、色彩抖动等变换，相当于低成本扩充数据集。
• 批归一化（Batch Normalization）：对中间激活值做标准化，有一定隐式正则效果。

早停（early stopping）是训练过程中最直接、成本最低的过拟合防控手段。

• 原理：监控验证集损失，若连续若干轮（patience）不再改善则终止训练，并恢复最优权重快照。
• 实现：PyTorch Lightning、Keras 等主流框架均提供内置回调，无需改动损失函数。
• 与正则化互补：早停和 L2 正则化作用机制不同，可叠加使用以进一步降低过拟合风险。
• 注意：patience 过小导致欠拟合，过大则失去保护效果，需结合实际验证指标调整。

超大规模预训练模型对过拟合的认知提出了新问题。

• 良性过拟合：GPT 系列等超参数化模型完美拟合训练集的同时仍保持良好泛化，传统理论无法完全解释。
• 微调过拟合：在少量领域数据上做指令微调（SFT）时，过拟合风险尤为突出；LoRA 等 PEFT 方法通过限制可训练参数量天然缓解该问题。
• 基准污染：预训练语料中包含评测集内容，导致模型对基准隐性「过拟合」，评分虚高，是大模型时代特有的过拟合变体。
• 应对建议：在现代大模型场景下，评估泛化不能仅凭参数量与样本量的比值，还需结合多样化验证集和实际部署指标。

过拟合的认识随统计学习理论的演进持续深化。

• 1990 年代：Vapnik 等用 VC 维形式化刻画模型容量与泛化误差的关系，催生 SVM 的结构风险最小化（SRM）思想。
• 1992：Geman et al. 正式表述偏差-方差权衡，成为过拟合理论的经典表述。
• 2012：AlexNet 在 ImageNet 竞赛大规模应用 Dropout，成为深度学习正则化里程碑。
• 2014：Srivastava et al. 在 JMLR 发表「Dropout: A Simple Way to Prevent Neural Networks from Overfitting」，系统阐述其机制。
• 2015：Batch Normalization（Ioffe & Szegedy）普及，稳定中间层分布，兼具隐式正则效果。
• 2019：Belkin et al. 在 PNAS 发表双下降（Double Descent）实证研究，挑战「模型越复杂越过拟合」的经典认知。