因果推理：从相关性到因果关系的 AI 基础

因果推理（Causal Reasoning） 是研究变量之间因果因果关系的数学框架。传统机器学习擅长发现相关性（correlation），但相关性不等于因果关系（correlation does not imply causation）。

1.1 相关性 vs 因果关系的经典案例

• 冰淇淋销量和溺水人数高度相关 → 共同原因是气温升高
• 医院的病人死亡率比健康人高 → 选择偏差，不是因为医院导致死亡
• 教育程度和收入相关 → 可能混杂了家庭背景这个变量

1.2 Judea Pearl 的因果阶梯

因果推理之父 Judea Pearl 提出了因果三层次：

1. 关联（Association）：看到数据中的模式——「如果 A 发生，B 发生的概率是多少？」
2. 干预（Intervention）：主动改变一个变量——「如果我把 A 变为 X，B 会怎样？」
3. 反事实（Counterfactual）：想象一个没有发生的世界——「如果当时我没有做 A，B 会不会不同？」

大多数当前的 AI 系统只停留在第一层，而真正的智能需要跨上第二层和第三层。

1.3 因果推理在 AI 中的关键应用

• 强化学习：Agent 需要理解「动作导致结果」的因果关系
• 公平性：判断算法是否因种族/性别等因果路径产生歧视
• 可解释性：区分真正的因果特征和伪相关特征
• 鲁棒性：在分布外泛化时，因果特征比统计特征更稳定

因果图（Causal Graph） 是用有向无环图（DAG）来编码变量之间的因果假设。每个节点代表一个变量，每条有向边代表一个因果关系。

2.1 基本因果结构

因果图中有三种基本结构：

链式结构（中介）：A → B → C

• A 通过 B 影响 C
• 例如：吸烟 → 焦油积累 → 肺癌

分叉结构（混杂）：A ← B → C

• B 是 A 和 C 的共同原因（混杂因子）
• 例如：气温 ← 季节 → 冰淇淋销量和溺水率

对撞结构（选择偏差）：A → C ← B

• C 是 A 和 B 的共同结果
• 如果控制了 C，会在 A 和 B 之间制造虚假关联

2.2 d-分离（d-separation）

d-分离是判断两个变量在给定第三个变量集合下是否条件独立的核心概念。

判断规则：

• 链 A → B → C：控制 B 则 A 和 C 独立
• 分叉 A ← B → C：控制 B 则 A 和 C 独立
• 对撞 A → B ← C：不控制 B 则 A 和 C 独立，控制 B 后不独立

2.3 后门准则（Backdoor Criterion）

要识别 X 对 Y 的因果效应，需要阻断所有从 X 到 Y 的后门路径（以指向 X 的边结尾的路径）。

找到满足后门准则的变量集 Z，则因果效应可以通过调整 Z 来估计：P(Y|do(X)) = Σ P(Y|X,Z)P(Z)

do-calculus 是 Judea Pearl 提出的一套形式化运算规则，用于将干预概率 （含有 do() 运算符）转化为可观测数据的表达式。

3.1 do() 运算符的含义

do(X = x) 表示「我们主动将 X 设为 x」，而不是「我们观察到 X = x」。

关键区别：

• P(Y | X = x)：在 X = x 的条件下，Y 的概率——观察
• P(Y | do(X = x))：我们强制 X = x 后，Y 的概率——干预

3.2 三条 do-calculus 规则

规则 1（插入/删除观察）：
如果 Y 独立于 Z 给定 X, W 在删除指向 Z 的边后的图中成立，则 P(Y|do(X),Z,W) = P(Y|do(X),W)。

规则 2（行动/观察交换）：
如果 Y 独立于 Z 给定 X, W 在删除 Z 的出边后的图中成立，则 P(Y|do(X),do(Z),W) = P(Y|do(X),Z,W)。

规则 3（插入/删除行动）：
如果 Y 独立于 Z 给定 X, W 在删除 Z 的入边后的图中成立，则 P(Y|do(X),do(Z),W) = P(Y|do(X),W)。

3.3 可识别性（Identifiability）

如果一个因果效应可以通过 do-calculus 转化为不含 do() 的纯观察表达式，则称该效应是可识别的。

不是所有因果效应都可识别。当存在未观测到的混杂因子时，某些因果效应无法从观察数据中估计。

3.4 实际应用示例

估计药物 X 对恢复 Y 的因果效应，已知 Z（年龄）是混杂因子：

1. 画因果图：Z → X, Z → Y, X → Y
2. 找到后门路径：X ← Z → Y
3. 调整 Z：P(Y|do(X)) = Σ P(Y|X,Z)P(Z)
4. 这就是逆概率加权（IPW）的理论基础

反事实（Counterfactual） 是因果阶梯的最高层，回答「如果当初没有发生某事，结果会怎样？」这类问题。

4.1 反事实的逻辑结构

反事实推理需要三个步骤：

1. 溯因（Abduction）：根据观测到的结果，推断未观测到的噪声变量的值
2. 干预（Action）：修改结构方程，将假设的条件设为真
3. 预测（Prediction）：在新修改的模型中计算结果

4.2 结构因果模型（SCM）

结构因果模型由一组结构方程组成，每个方程描述一个变量如何由其父变量和噪声项决定：

X = f_X(PA_X, U_X)
Y = f_Y(X, PA_Y, U_Y)

其中 PA 表示父变量，U 表示外生噪声。

4.3 反事实在 AI 中的应用

• 公平性分析：「如果这个人的性别不同，结果会改变吗？」
• 医疗决策：「如果患者没有接受这个治疗方案，预后如何？」
• 责任归因：「这个事故中，哪个因素是真正的因果原因？」
• 强化学习：Agent 评估「如果我选了另一个动作，奖励会怎样？」

4.4 个体因果效应（ITE）

个体因果效应（Individual Treatment Effect） 定义为：
ITE_i = Y_i(1) - Y_i(0)

即同一个人接受治疗和不接受治疗的结果之差。这是根本不可能直接观测的，因为同一个人不可能同时处于两种状态。这被称为因果推理的根本问题。

因果发现（Causal Discovery） 的目标是从观测数据中自动学习因果图结构，而不是依赖人工假设。

5.1 基于约束的方法

PC 算法是最经典的基于约束的因果发现算法：

1. 从完全连通图开始
2. 对每对变量做条件独立性检验
3. 如果 X ⊥ Y | Z，则删除 X-Y 边
4. 根据 v-结构（对撞）和方向传播规则定向边

优势：理论保证在无限数据下能恢复等价类中的因果图。
劣势：条件独立性检验在有限样本中不可靠。

5.2 基于函数因果模型的方法

LiNGAM（线性非高斯无环模型）假设：

• 因果关系是线性的
• 噪声项是非高斯分布的
• 图是无环的

在这些假设下，可以从数据中唯一确定因果方向，而不是仅能确定马尔可夫等价类。

ANM（加性噪声模型）进一步放宽了线性假设，允许非线性因果函数。

5.3 基于得分的方法

通过优化一个得分函数来搜索最优的因果图结构：

• BIC 得分：平衡拟合优度和模型复杂度
• BDeu 得分：贝叶斯Dirichlet等价均匀先验
• 正则化回归：用 L1 惩罚来学习稀疏因果图

5.4 因果发现与深度学习的结合

近年来，研究者将因果发现与深度学习结合：

• NOTEARS：用连续优化代替离散搜索，将 DAG 约束转化为可微的迹约束
• DAG-GNN：用图神经网络建模因果函数
• CAM（Causal Additive Models）：用核回归或神经网络拟合因果函数

将因果推理引入传统机器学习，可以解决多个核心问题。

6.1 特征选择的因果视角

传统特征选择基于预测能力（与目标变量的相关性），但这可能选择到因果后代（结果变量）而非因果祖先（原因变量）。

因果特征选择的目标是选择目标变量的马尔可夫毯（Markov Blanket）——包含所有父节点、子节点和子节点的其他父节点的最小变量集合。

马尔可夫毯是最小的最优预测集，同时具有因果意义。

6.2 分布外泛化（OOD Generalization）

因果特征在分布变换下保持不变，而非因果的统计特征可能在不同环境中表现不同。

因果不变性原理：如果一个特征与目标变量的关系在不同环境中保持不变，那么这种关系很可能是因果的。

6.3 因果强化学习

标准强化学习学习的是状态-动作-奖励的关联模式，而因果强化学习学习的是动作对结果的因果影响。

优势：

• 更强的泛化能力：学到的因果知识可以迁移到新环境
• 更好的可解释性：能解释「为什么选择这个动作」
• 更高的样本效率：因果模型可以用更少的数据学会有效策略

6.4 因果公平性

算法公平性可以从因果角度定义：

• 直接歧视：受保护属性（如种族）直接影响决策
• 间接歧视：受保护属性通过中介变量影响决策
• 可证明公平：在干预受保护属性值后，决策不变

这与传统的统计公平性定义（如人口统计均等、机会均等）互补。

本节通过实际代码演示因果推理的核心算法。

7.1 使用 DoWhy 进行因果推断

DoWhy 是微软开源的因果推理库，提供了从建模到估计的完整流程。

安装：pip install dowhy

7.2 因果效应估计的四种方法

1. 倾向得分匹配（PSM）：为每个处理组样本找到一个特征相似的控制组样本
2. 逆概率加权（IPW）：用倾向得分的倒数作为权重，重加权样本以模拟随机实验
3. 双重稳健估计（Doubly Robust）：结合倾向得分模型和结果模型，只要其中一个正确就能得到一致估计
4. 工具变量法（IV）：当存在未观测混杂时，用一个只影响处理但不直接影响结果的变量来估计因果效应

7.3 敏感性分析

因果推理的一个关键问题是：如果因果假设不完全正确，结论有多鲁棒？

敏感性分析量化了：需要多大程度的隐藏混杂，才能推翻当前的因果结论。如果结论对很小的隐藏混杂就敏感，则需要谨慎解读。

8.1 经典教材

• 《Causality》（Judea Pearl, 2009）：因果推理的数学基础，适合理论研究者
• 《The Book of Why》（Judea Pearl, 2018）：面向大众的因果思维入门
• 《Causal Inference in Statistics》（Pearl, Glymour, Jewell, 2016）：面向统计学家的简短教材
• 《Elements of Causal Inference》（Peters, Janzing, Schölkopf, 2017）：因果发现方法的系统介绍

8.2 前沿研究方向

• 因果表征学习：从原始数据（如图像、文本）中自动学习因果变量
• 神经符号因果推理：将因果图与神经网络结合
• 动态因果推理：在时间序列和流数据中做因果推断
• 大规模因果发现：处理数万变量的因果发现算法

8.3 与 AI Master 其他内容的联系

• 数学基础：概率论（math-004）、统计推断（math-005）是因果推理的前置知识
• 机器学习：偏差-方差权衡（ml-018）、特征工程（ml-016）与因果特征选择紧密相关
• AI 伦理：偏见与公平性（ethics-001）可以用因果框架重新定义
• 大语言模型：LLM 是否能进行因果推理是当前研究的热点问题