Mean Squared Error（均方误差）

均方误差（MSE）是统计学与机器学习中最基础的回归评估指标之一，衡量模型预测值与真实值之间的平均平方偏差。

• 定义公式：MSE = (1/n) × Σ(yᵢ − ŷᵢ)²，其中 yᵢ 为真实值，ŷᵢ 为预测值，n 为样本数
• 量纲特性：MSE 的单位是目标变量单位的平方，因此常取平方根得到 RMSE（均方根误差）以便直接解读
• 非负性：MSE ≥ 0，越接近 0 表示模型拟合越好
• 广泛应用：既用作训练阶段的损失函数（L2 Loss），也用作评估阶段的评估指标

MSE 的计算分三步，背后蕴含重要的数学性质。

• 第一步——计算残差：对每个样本求预测误差 eᵢ = yᵢ − ŷᵢ
• 第二步——平方放大：对残差取平方 eᵢ²，消除正负相消，同时对大误差施以更重惩罚
• 第三步——求均值：对所有 eᵢ² 求算术平均，得到整体预测质量的单一数值
• 可微性：MSE 关于模型参数处处可微，梯度为 ∂MSE/∂ŷ = −2(y − ŷ)/n，适合梯度下降优化
• 概率含义：在残差服从正态分布的假设下，最小化 MSE 等价于最大似然估计

MSE 派生出多个常用指标，适用于不同场景和解释需求。

• RMSE（均方根误差）：√MSE，量纲与目标变量一致，更易解读，是竞赛和报告中最常见的形式
• MAE（均绝对误差）：对误差取绝对值而非平方，对离群点更鲁棒，但在零点不可微
• Huber Loss：结合 MSE 与 MAE——小误差用 L2，大误差用 L1，通过超参数 δ 控制切换点
• R²（决定系数）：基于 MSE 构建的归一化指标，衡量模型相对于均值基线的解释力
• 加权 MSE：对不同样本赋予不同权重，用于类别不均衡或重要性不同的回归场景

MSE 是回归任务的默认选择，广泛应用于多个领域。

• 回归模型训练：线性回归、岭回归、神经网络回归头均以 MSE（L2 Loss）为默认损失函数
• 时间序列预测：股价、气温、销量等连续值预测任务的标准评估指标
• 图像重建与生成：超分辨率、去噪、自编码器等任务中衡量像素级重建质量
• 推荐系统：显式评分预测（如 MovieLens 数据集）常用 RMSE 作为评测标准
• 强化学习：值函数逼近（如 DQN）中用 MSE 衡量 Q 值预测误差

正确区分 MSE、MAE 和 Huber Loss 是选择损失函数的关键。

• MSE vs MAE：MSE 对大误差惩罚更重（平方），对离群点敏感；MAE 线性惩罚，更鲁棒但梯度恒定，在极值附近收敛较慢
• MSE vs Huber Loss：Huber Loss 在小误差区间行为同 MSE，大误差区间行为同 MAE，兼顾可微性与鲁棒性，但需调参 δ
• MSE vs 交叉熵：MSE 用于回归（连续输出），交叉熵用于分类（概率输出）；对分类任务用 MSE 会导致梯度消失问题
• MSE（损失）vs RMSE（指标）：训练时优化 MSE，报告时常用 RMSE 以保持量纲直观

MSE 并非万能，使用时需警惕以下陷阱。

• 离群点敏感：单个极端误差经平方后可主导整体损失，导致模型为迁就离群点而牺牲大多数样本的精度
• 量纲不直观：MSE 单位为目标变量的平方，不宜直接与业务指标对比，建议改用 RMSE
• 不适用分类任务：对 Sigmoid/Softmax 输出使用 MSE 会造成梯度饱和，应改用交叉熵损失
• 误把 MSE 当唯一指标：MSE 低不代表模型好——若真实分布偏斜或存在结构性误差，需配合残差分析和 R² 综合判断
• 忽略数据预处理：目标变量量纲差异悬殊时，MSE 数值会极度膨胀，建议先做标准化或对数变换

MSE 的历史贯穿统计学与机器学习的核心演进。

• 1805 年：Adrien-Marie Legendre 首次在《彗星轨道新方法》中公开发表最小二乘法，MSE 最小化成为正式数学工具
• 1809 年：Carl Friedrich Gauss 在《天体运动理论》中从正态分布出发，给出最小二乘法的概率诠释，奠定 MSE 的统计基础
• 20 世纪中期：MSE 随线性回归、方差分析等统计方法普及，成为工程与科学领域的标准误差指标
• 1980-1990 年代：随着神经网络反向传播算法兴起，MSE（L2 Loss）成为早期多层感知机回归任务的默认损失函数
• 1990 年代：Peter Huber 提出 Huber Loss，填补了 MSE 在鲁棒性上的不足
• 2010 年代至今：深度学习时代，针对图像、语音等任务，MSE 与感知损失、对抗损失等结合使用，衍生出更丰富的损失函数体系