Information Geometry（信息几何）

信息几何的核心概念链条：

• 统计流形：一族参数化的概率分布 {p(x|θ) : θ ∈ Θ}，其中 Θ 是参数空间。流形上的每个点对应一个概率分布。
• Fisher 信息矩阵：G(θ) = E[∇log p(x|θ) · (∇log p(x|θ))ᵀ]——定义流形上的 Riemann 度量张量。Fisher 矩阵衡量参数微小变化对分布的影响程度：特征值大的方向上，参数变化对分布影响大；特征值小的方向上，影响小。
• KL 散度：流形上的距离度量，局部近似为 Fisher 度量的二次型：KL(p||q) ≈ ½(θ_p - θ_q)ᵀ G(θ)(θ_p - θ_q)。
• 自然梯度：沿流形测地线方向的梯度 ∇̃L = G⁻¹(θ)∇L，而非欧几里得梯度 ∇L。自然梯度考虑了参数空间的几何结构，在分布空间中是「最短路径」。

信息几何的发展经历了三个关键阶段。Rao 的开创（1945）：C.R. Rao 证明 Fisher 信息矩阵自然定义了概率分布族上的 Riemann 度量，这是信息几何的数学起源。

Amari 的体系（1980s-1990s）：甘利俊一（Shun-ichi Amari）在 1985 年出版《微分几何学の方法》（日文版），1993 年与长冈浩司合著扩展版，2000 年出版英文版《Methods of Information Geometry》（AMS/Oxford University Press），建立了信息几何的完整框架。

1998 年发表《Natural Gradient Works Efficiently in Learning》，将理论引入机器学习。

现代应用（2010s-至今）：K-FAC（Martens & Grosse, 2015）用 Kronecker 分解近似 Fisher 矩阵，实现大规模二阶优化；Shampoo（Gupta et al., 2018）使用预条件矩阵的逆平方根作为优化器；自然策略梯度（Kakade, 2001）将自然梯度引入 RL。

2026 年，信息几何的方法已整合到主流深度学习框架（PyTorch、JAX）的优化器库中。

信息几何在深度学习中有三大应用方向：

• 自然梯度下降：使用 Fisher 信息矩阵的逆作为预条件器，沿流形测地线方向优化。自然梯度在参数变化量相同的情况下，使分布变化最大化。适用于在线学习和强化学习场景。K-FAC（Kronecker-Factored Approximate Curvature）通过 Kronecker 积分解近似 Fisher 矩阵，将计算复杂度从 O(n²) 降到 O(n)，使自然梯度可用于百万参数级网络。
• 镜像下降（Mirror Descent）：在 Bregman 散度（信息几何的对偶平坦结构）下执行梯度下降，等价于在指数族参数空间中的自然梯度。Shampoo 预条件器使用梯度矩阵的累积外积的逆平方根作为预条件矩阵，是信息几何思想在大规模分布式训练中的工程实现。
• 变分推断：自然梯度变分推断（NGVI）使用 Fisher 度量优化变分参数，在贝叶斯深度学习中提供比 SGD 更快的收敛速度。