简要回答
偏差是系统性偏离(欠拟合);方差是对训练集波动敏感(过拟合)。增加复杂度降偏差升方差,反之亦然。
标准回答
偏差-方差权衡是机器学习中模型复杂选择的核心问题。总误差可分解为:Error = Bias² + Variance + Noise。
偏差(Bias):模型系统性偏离真实值,通常是欠拟合的表现。高偏差时模型过于简单,无法捕捉数据规律。
方差(Variance):模型对训练集波动敏感,通常是过拟合的表现。高方差时模型过于复杂,记住了噪声而非规律。
权衡策略:增加模型复杂度可降低偏差但升高方差;降低复杂度则相反。常用诊断方法是打靶类比:偏差是准星偏,方差是散布大。
常见误区
⚠️ 常见踩坑
把「方差」误当成特征/数据的统计方差——这里指模型对训练集变动的敏感度。另一误区是以为增加数据能同时降低偏差和方差:更多数据主要降方差,对系统性偏差(模型本身太简单)几乎无效。
追问
追问 1:深度学习时代偏差-方差权衡还适用吗?
适用但表现复杂,存在双下降(double descent):模型过大时测试误差可能再次下降。不能仅用经典权衡解释,但诊断思路仍有参考价值。
追问 2:如何用学习曲线诊断?
画训练/验证曲线:两条都高→高偏差;训练低验证高→高方差。据此决定增数据、正则或增模型容量。
延伸学习
与本题相关的知识库文章、术语、工具与行业资讯。