核心要点

  • 无偏性:E[θ̂]=θ,估计量的期望恰好等于真实参数,没有系统性偏差。

  • 有效性:在同类(如无偏)估计量中方差最小,下界由 Cramér-Rao 不等式给出。

  • 一致性:n→∞ 时 θ̂ 依概率收敛到真值 θ,是大样本下的最低要求。

  • 三者相互独立:无偏不一定有效或一致;有偏估计量也可能一致(如样本方差除以 n)。

标准回答

三个性质的定义

衡量一个估计量 (\hat\theta) 好坏的三大基本性质:

  • 无偏性(Unbiasedness):(E[\hat\theta]=\theta)。估计量的期望等于真值,无系统性偏差。
  • 有效性(Efficiency):在某一类(通常是无偏)估计量中方差最小。理论下界由 Cramér-Rao 不等式给出,达到下界即最小方差无偏估计(MVUE)。
  • 一致性(Consistency):当样本量 (n\to\infty) 时 (\hat\theta\xrightarrow{P}\theta)(依概率收敛到真值),即数据足够多时一定逼近真值。

三者的关系

它们彼此独立,不能互推:

  • 无偏不一定有效(可能方差很大),也不一定一致。
  • 有偏估计量也可能一致:如样本方差用 (\frac1n\sum(x_i-\bar x)^2) 对总体方差是有偏的,但 (n\to\infty) 时偏差消失,仍是一致估计。
  • 实践中常做偏差-方差权衡:允许少量偏差换取更小方差,从而降低整体均方误差 MSE = 偏差² + 方差。

常见误区

⚠️ 常见踩坑

无偏与一致是两回事:无偏说的是任意样本量下期望对齐,一致说的是 n→∞ 的极限行为;有偏估计量完全可以是一致的,反之有限样本无偏也未必方差小。

追问

追问 1样本方差为什么要除以 n-1 而不是 n?

因为用样本均值 (\bar x) 代替未知总体均值 (\mu) 时,离差平方和会系统性偏小((\bar x) 本身是使平方和最小的点)。可证 (E[\frac1n\sum(x_i-\bar x)^2]=\frac{n-1}{n}\sigma^2),除以 n 会低估方差。除以 (n-1)(贝塞尔校正,对应自由度损失 1)才能得到无偏估计 (E[s^2]=\sigma^2)。

追问 2一个估计量可以无偏但完全不实用吗?

可以。无偏只约束期望,不约束方差。例如用单次观测 (x_1) 估计总体均值是无偏的((E[x_1]=\mu)),但方差等于总体方差、极不稳定,远不如样本均值有效。这说明实践中应综合考虑均方误差 MSE,宁可接受小偏差也要换取明显更小的方差,这正是偏差-方差权衡。

延伸学习

与本题相关的知识库文章、术语、工具与行业资讯。