核心要点

  • 训练/验证曲线诊断

  • 列举至少 3 种正则手段

  • 理解偏差-方差权衡

简要回答

过拟合表现为训练误差低、验证误差高。看学习曲线确认后,可用 L1/L2 正则、Dropout数据增强、早停、简化模型或增加数据来缓解。

标准回答

诊断:绘制训练集 vs 验证集 loss/accuracy 曲线——训练持续下降而验证回升即为过拟合。处理手段:1) 正则化 L1/L2 约束权重大小;2) Dropout 训练时随机丢弃神经元;3) 早停 验证指标不再提升时停止;4) 数据增强 扩大有效样本;5) 简化模型 减少参数;6) 集成 Bagging 降方差。选型取决于数据量、模型复杂度和任务类型。

常见误区

⚠️ 常见踩坑

只背概念不会举例;混淆相似术语;忽略工程落地约束(成本、延迟、数据质量)。

追问

追问 1Dropout 在推理时如何处理?

训练时随机丢弃神经元并缩放激活(inverted dropout);推理时关闭 Dropout,使用全部神经元,权重不再额外缩放(PyTorch 的 nn.Dropout 自动处理 train/eval 模式切换)。

追问 2L1 和 L2 正则效果有何不同?

L2(权重衰减)惩罚大权重,使参数整体缩小,解更平滑;L1 产生稀疏解,可做特征选择。深度学习常用 L2/weight decay;L1 在稀疏建模、可解释性场景更常见。

🔗 相似问题

同一考点的不同问法,换着练更稳

没找到想看的面试题?把你想看的告诉我们 →

延伸学习

按主题分类的相关资源,便于系统复习