Confidence Interval（置信区间）

置信区间（Confidence Interval，CI）是频率主义统计推断的核心工具，用区间而非单点来表达对未知参数的估计。

• 核心作用：将点估计（如样本均值 x̄）扩展为区间 [L, U]，明确量化估计的不确定程度。
• 置信水平：常见取值为 95%（即 α=0.05），表示若重复实验 100 次，约 95 次构造的区间会包含真实参数。
• 区间宽度的意义：宽区间意味着估计不精确（样本量不足或数据方差大）；窄区间意味着估计更可靠。
• 广泛应用场景：临床试验、A/B 测试、机器学习模型评估、科学报告等，凡需要量化不确定性的领域均依赖 CI。

以最常见的总体均值置信区间为例，构造步骤如下：

• 从总体中抽取 n 个样本，计算样本均值 x̄ 和标准差 s 作为点估计。
• 根据样本量大小选择分布：n 较大时用正态分布（z 分布），n 较小或总体方差未知时用 t 分布。
• 计算标准误（SE = s / √n），再乘以对应置信水平的临界值（如 95% 对应 z=1.96）得到误差限（Margin of Error）。
• 最终区间为 [x̄ − ME, x̄ + ME]；若区间不包含零（或某基准值），则统计检验在相应显著性水平下显著。
• Bootstrap CI：当无法假定分布形态时，通过有放回重采样数千次模拟抽样分布，直接取分位数作为区间端点。

根据参数类型和数据特征，CI 有多种构造方式：

• 正态近似 CI（Wald CI）：基于中心极限定理，适合大样本，计算简单；对比例等参数在小样本或极端值时表现差。
• Wilson CI（Score CI）：计算比例的 CI 时比 Wald 方法更稳健，是机器学习准确率评估的推荐选项。
• t 区间：总体方差未知且样本量较小时使用，自由度为 n-1；随 n 增大逐渐趋近正态 CI。
• Bootstrap 置信区间：无参数假设，适用于复杂统计量（如 AUC、中位数、模型性能指标）；常用百分位法或 BCa（偏差校正加速）法。
• 贝叶斯可信区间（Credible Interval）：在贝叶斯框架下，表示后验分布中参数落入该区间的概率确为指定值——语义上更直觉，但需指定先验分布。

置信区间在 AI/ML 工作流和数据科学实践中应用广泛：

• 模型性能评估：报告分类准确率、AUC、F1 等指标时附带 CI，使结果具备统计可信度而非仅凭点估计比较。
• A/B 测试与在线实验：比较两个模型或策略的效果差异时，用效果差的 CI 判断是否具有实际显著性，避免仅看 p 值。
• 不确定性量化（UQ）：在贝叶斯神经网络、高斯过程等模型中，对每个预测附加预测区间，支持风险感知决策。
• 超参数搜索结果报告：在多次交叉验证后，用 CI 描述超参数组合的期望性能范围，辅助模型选择。
• 科学论文与监管报告：临床 AI、金融风控等高风险场景要求以 CI 形式报告模型表现，符合统计规范。

置信区间容易与以下概念混淆，需明确区分：

• 置信区间 vs 预测区间：CI 估计总体参数（如均值）的范围；预测区间（Prediction Interval） 估计单个新观测值的范围，因包含个体变异，宽度通常更大。
• 置信区间 vs 可信区间：CI 是频率主义概念，真实参数固定，区间随样本随机；可信区间（Credible Interval） 是贝叶斯概念，参数被视为随机变量，区间代表后验概率，语义不同。
• 置信区间 vs p 值：p 值回答「假设 H₀ 成立，数据有多极端」；CI 回答「参数的合理估计范围是什么」；二者互补，CIs 提供更丰富信息。
• 置信水平 vs 置信区间：置信水平（如 95%）是构造方法的属性，而非特定区间的属性；不能说「这个区间有 95% 概率包含真值」。

使用置信区间时需警惕以下误区：

• 最常见误解：「真实参数有 95% 概率在这个区间内」——错误。在频率框架下，真实参数是固定常数，概率只描述区间构造过程，而非某一具体区间。
• 样本量不足：小样本下正态近似失效，应改用 t 分布或 Bootstrap；样本量过小时 CI 极宽，结论可靠性低。
• 多重比较问题：同时构造多个 CI 时，家族错误率（FWER）膨胀，需用 Bonferroni 校正或 Benjamini-Hochberg 控制 FDR。
• 数据不独立：时间序列、聚类数据等违反独立同分布假设时，标准 CI 公式低估真实不确定性，需用块 Bootstrap 或混合效应模型。
• 忽视实际显著性：CI 不含零（统计显著）不代表效果有实际意义；应结合效应量和领域知识综合判断。

置信区间的理论经历近百年的发展与争议：

• 1927 年：Edwin Wilson 发表论文提出比例估计的区间方法，被 Neyman 认为是置信区间思想的源头之一。
• 1934 年：Jerzy Neyman 在英国皇家统计学会演讲中提出区间估计框架的雏形，强调「不确定性的非教条描述」。
• 1937 年：Neyman 正式发表论文 「Outline of a Theory of Statistical Estimation Based on the Classical Theory of Probability」，建立置信区间的完整理论体系。
• 1950–1970 年代：CI 与 Fisher 显著性检验框架长期并存，争论频率vs贝叶斯解释；贝叶斯可信区间逐步发展。
• 1990 年代：Bootstrap 方法（Efron, 1979 年提出，1990s 成熟）使 CI 可应用于无解析公式的复杂统计量。
• 2000 年代至今：机器学习模型评估标准化将 Bootstrap CI 和 Wilson CI 纳入实践规范；不确定性量化（UQ）研究将 CI 与预测区间结合，推动可信 AI 发展。