核心要点

  • 泛化误差可分解为 Error = Bias² + Variance + Noise,噪声不可约,偏差与方差此消彼长。

  • 高偏差是欠拟合(模型太简单),高方差是过拟合(对训练集噪声敏感)。

  • 降偏差:加模型容量、加特征、减正则;降方差:加数据、正则化、Bagging、早停。

  • 用学习曲线诊断:训练验证都差→高偏差,训练好验证差→高方差。

简要回答

偏差是系统性偏离(欠拟合);方差是对训练集波动敏感(过拟合)。增加复杂度降偏差升方差,反之亦然。

标准回答

偏差-方差权衡是机器学习中模型复杂选择的核心问题。总误差可分解为:Error = Bias² + Variance + Noise。

偏差(Bias):模型系统性偏离真实值,通常是欠拟合的表现。高偏差时模型过于简单,无法捕捉数据规律。

方差(Variance):模型对训练集波动敏感,通常是过拟合的表现。高方差时模型过于复杂,记住了噪声而非规律。

权衡策略:增加模型复杂度可降低偏差但升高方差;降低复杂度则相反。常用诊断方法是打靶类比:偏差是准星偏,方差是散布大。

常见误区

⚠️ 常见踩坑

把「方差」误当成特征/数据的统计方差——这里指模型对训练集变动的敏感度。另一误区是以为增加数据能同时降低偏差和方差:更多数据主要降方差,对系统性偏差(模型本身太简单)几乎无效。

追问

追问 1深度学习时代偏差-方差权衡还适用吗?

适用但表现复杂,存在双下降(double descent):模型过大时测试误差可能再次下降。不能仅用经典权衡解释,但诊断思路仍有参考价值。

追问 2如何用学习曲线诊断?

画训练/验证曲线:两条都高→高偏差;训练低验证高→高方差。据此决定增数据、正则或增模型容量。

追问 3Bagging 和 Boosting 对偏差方差的影响?

Bagging(如随机森林)并行训练多个高方差弱模型再平均,主要降方差、基本不动偏差,适合容易过拟合的强模型。Boosting(如 GBDT)串行让后一个模型纠正前者残差,主要降偏差、但会逐步升方差,故需控制树深和学习率、配合早停防过拟合。

延伸学习

与本题相关的知识库文章、术语、工具与行业资讯。