核心要点

  • 参数观:频率派认为参数 θ 是未知但固定的常数;贝叶斯派认为 θ 是随机变量,用概率分布表达对它的信念。

  • 推断方式:频率派靠数据的抽样分布(如最大似然、置信区间、p 值);贝叶斯派用 Bayes 公式得后验 p(θ|D)∝p(D|θ)p(θ)。

  • 先验:贝叶斯派需指定先验 p(θ),可融入领域知识,小样本下更稳健;频率派不用先验。

  • 区间解释:频率派置信区间是“反复实验有 95% 覆盖真值”;贝叶斯可信区间是“θ 有 95% 概率落在区间内”。

标准回答

根本分歧:如何看待参数

频率学派把参数 (\theta) 看成未知但固定的常数,概率只描述数据的随机性。推断依赖抽样分布:常用最大似然估计、构造置信区间、做假设检验和 p 值。

贝叶斯学派把 (\theta) 看成随机变量,用概率分布表达对它的不确定信念。核心是 Bayes 公式:

(p(\theta\mid D)\propto p(D\mid\theta),p(\theta))

后验 ∝ 似然 × 先验,推断围绕后验分布展开(后验均值/众数 MAP、可信区间)。

先验的作用

贝叶斯需要指定先验 (p(\theta)),好处是能注入领域知识、在小样本下更稳健、天然给出完整不确定性;代价是先验选择带主观性。频率派不引入先验,结果“更客观”但难以表达参数本身的概率。

区间解释不同

频率派 95% 置信区间:在重复实验意义下约 95% 的区间会覆盖真值;贝叶斯 95% 可信区间:给定数据,参数有 95% 概率落在该区间内——后者才是“参数的概率”。

常见误区

⚠️ 常见踩坑

别把频率派置信区间解读成“参数有 95% 概率落在此区间”——这是贝叶斯可信区间的含义;频率区间的随机性在区间本身而非固定的参数。

追问

追问 1最大似然估计(MLE)和最大后验估计(MAP)是什么关系?

MAP 最大化后验 (p(\theta|D)\propto p(D|\theta)p(\theta)),等价于最大化 (\log p(D|\theta)+\log p(\theta));MLE 只最大化似然 (p(D|\theta))。当先验取均匀分布(无信息)时,MAP 退化为 MLE。从正则化角度看,高斯先验对应 L2 正则、拉普拉斯先验对应 L1 正则,所以 MAP 相当于带正则项的 MLE。

追问 2什么是共轭先验,为什么有用?

若先验与似然搭配后,后验与先验属于同一分布族,则称该先验为似然的共轭先验(如 Beta 对二项、Gamma 对泊松、高斯对高斯均值)。好处是后验有解析封闭形式,更新参数只需简单代数,无需 MCMC 等数值采样,计算高效、便于在线增量更新——在算力受限或需要快速迭代时尤其有用。

延伸学习

与本题相关的知识库文章、术语、工具与行业资讯。