信息几何与自然梯度：深度学习的微分几何优化基础

信息几何（Information Geometry） 是将微分几何的工具应用于概率分布族的数学理论。它的核心洞察是：参数空间不仅仅是欧几里得空间——当参数定义了概率分布时，参数空间具有天然的Riemann流形结构。

传统优化方法（如SGD）将参数空间视为平坦的欧几里得空间，使用欧几里得距离度量参数变化。但在神经网络中，参数的微小变化对模型行为的影响取决于参数在流形上的位置——某些方向上的变化对输出分布影响巨大，而另一些方向上的变化几乎无感。

核心概念链条：

1. 统计流形：一族参数化的概率分布 {p(x|θ) : θ ∈ Θ}，其中Θ是参数空间
2. Fisher信息矩阵：定义流形上的Riemann度量 g(θ) = E[∇log p · (∇log p)ᵀ]
3. KL散度：流形上的距离度量，局部近似为Fisher度量的二次型
4. 自然梯度：沿流形测地线方向的梯度，而非欧几里得空间中的梯度

💡 核心洞察：信息几何揭示了为什么"参数空间中的等距离"不等于"模型行为中的等距离"。两个参数向量在欧几里得距离上可能很近，但如果它们对应的概率分布差异很大，那么在统计意义上它们其实相距甚远。

1.1 为什么需要信息几何？

考虑一个简单的例子：两个高斯分布 N(μ₁, σ₁²) 和 N(μ₂, σ₂²)。在参数空间 (μ, σ) 中，从 (0, 1) 到 (0, 2) 的欧几里得距离是 1。但从分布的角度看，σ 从 1 变到 2 意味着分布的"宽度"翻了一倍——这是一个巨大的变化。相反，从 (0, 1) 到 (1, 1) 的欧几里得距离也是 1，但分布只是平移了一个单位——变化相对较小。

这说明欧几里得距离不能正确反映参数变化对分布的影响。信息几何通过引入Fisher信息矩阵作为度量张量，解决了这个问题。在Fisher度量下，(0, 1) 到 (0, 2) 的统计距离远大于 (0, 1) 到 (1, 1) 的统计距离——这与我们对分布变化的直觉一致。

1.2 历史背景

信息几何的起源可以追溯到Rao (1945) 的工作，他证明了Fisher信息矩阵自然定义了概率分布族上的Riemann度量。但真正将这一观察发展为完整理论的是日本数学家甘利俊一（Shun-ichi Amari）。

Amari 在 1993 年与长冈浩司合著的《情報幾何の方法》（岩波書店，日文版）和 2000 年英文版《Methods of Information Geometry》（AMS/Oxford University Press）中，建立了信息几何的完整框架，包括：

• α-散度族：统一的距离度量
• 对偶仿射联络：e-联络和m-联络
• 对偶平坦结构：指数族和混合族的几何性质

1998年，Amari发表了里程碑论文《Natural Gradient Works Efficiently in Learning》，将信息几何引入神经网络优化，提出了自然梯度下降方法。这篇论文奠定了信息几何在深度学习中的理论基础，至今仍是该领域被引用最多的文献之一。

1.3 信息几何的哲学意义

信息几何不仅是一个数学工具，它还提供了一个深刻的哲学视角：我们不应该在参数空间中思考学习，而应该在分布空间中思考学习。

参数只是描述分布的工具，真正重要的是分布本身。不同的参数化可能描述同一个分布，但如果我们只在参数空间中工作，就会被参数的选择所迷惑。信息几何通过引入与参数化无关的几何结构，让我们能够直接操作分布空间。

这种视角转换带来了很多好处：

• 参数化不变性：算法的行为不依赖于参数的选择
• 几何直觉：可以用曲率、测地线等几何概念理解学习过程
• 统一框架：不同的学习算法可以在同一个几何框架下比较和分析

Fisher信息矩阵（Fisher Information Matrix, FIM） 是信息几何的核心对象。对于参数化的概率分布 p(x|θ)，Fisher信息矩阵定义为：

G(θ)ᵢⱼ = E[∂log p(x|θ)/∂θᵢ · ∂log p(x|θ)/∂θⱼ]

这个公式的几何含义是：Fisher信息矩阵度量了参数空间中"单位距离"对应的统计距离。

2.1 三种等价的Fisher信息矩阵定义

这三种定义在数学上是等价的，但在实际计算中各有优劣。Score外积形式最适合经验估计，因为它只需要计算梯度；Hessian形式需要二阶导数，计算成本更高；KL散度形式则揭示了Fisher矩阵与统计距离的深层联系。

2.2 Fisher信息矩阵的几何直觉

想象你站在参数空间中的某一点θ。Fisher信息矩阵告诉你：

• 特征值大的方向：参数微小变化会导致分布的巨大变化（"敏感方向"）
• 特征值小的方向：参数变化对分布影响很小（"平坦方向"）

在自然梯度中，我们会在敏感方向上缩小步长，在平坦方向上放大步长——这样每一步的参数更新都能在统计意义上产生均匀的影响。

这种自适应步长的思想与现代优化器（如Adam）的理念是一致的。Adam的自适应学习率本质上是在使用对角Fisher信息矩阵的近似——每个参数方向上的学习率由该方向上的梯度方差决定。

2.3 深度神经网络中的Fisher信息矩阵

对于神经网络 p(y|x,θ)，Fisher信息矩阵为：
F(θ) = Eₓ[E_y|x[∇log p(y|x,θ) · (∇log p(y|x,θ))ᵀ]]

关键性质：

• 维度：对于有N个参数的网络，F是N×N矩阵
• 半正定性：F ⪰ 0（因为是外积的期望）
• 与Hessian的关系：对于平方损失，F等于广义Gauss-Newton矩阵（GGN），是Hessian的半正定近似

为什么Fisher矩阵是半正定的而Hessian不一定？ 这是一个重要的性质。Hessian矩阵可能包含负特征值（对应鞍点或局部极大值），这使得基于Hessian的优化方法（如牛顿法）在这些点附近行为不稳定。Fisher矩阵的半正定性保证了自然梯度方向始终是下降方向，这使得自然梯度在非凸优化中更加稳定。

2.4 Fisher矩阵的特征值谱

Pennington & Worah (2017) 使用随机矩阵理论分析了单层神经网络的Fisher矩阵谱。他们发现：

• Fisher矩阵的特征值分布呈现"块状"结构
• 大部分特征值集中在一个较小的区间内
• 少量大特征值对应于网络中最敏感的方向

这一发现解释了为什么对角近似（如Adam）在实践中往往有效——大部分方向上的曲率信息是相似的，只有少数方向需要特殊处理。

2.5 Fisher矩阵与泛化

近年来，研究者发现Fisher矩阵的特征值谱与模型的泛化能力之间存在密切联系：

• 平坦极小值：Fisher矩阵特征值较小的解通常对应于损失景观中的平坦区域，这些解往往具有更好的泛化能力
• 尖锐极小值：Fisher矩阵特征值较大的解对应于尖锐区域，容易过拟合

这一联系为理解深度学习的泛化提供了新的视角，也启发了Sharpness-Aware Minimization（SAM）等优化方法的发展。

import torch
import torch.nn as nn

def compute_empirical_fisher(model, dataloader, num_samples=1000):
    """
    经验Fisher信息矩阵估计
    F ≈ (1/N) Σ ∇log p(y|x,θ) · (∇log p(y|x,θ))ᵀ
    """
    # 收集所有样本的梯度
    grads = []
    for i, (x, y) in enumerate(dataloader):
        if i >= num_samples:
            break
        model.zero_grad()
        logits = model(x)
        # 使用对数似然作为损失
        log_probs = torch.log_softmax(logits, dim=-1)
        loss = -log_probs.gather(1, y.unsqueeze(1)).mean()
        loss.backward()
        
        # 展平梯度
        grad_flat = torch.cat([p.grad.flatten() for p in model.parameters()])
        grads.append(grad_flat)
    
    grads = torch.stack(grads)  # [N, num_params]
    
    # 经验Fisher = 梯度外积的平均
    # F = (1/N) Σ g_i · g_iᵀ
    fisher = (grads.T @ grads) / num_samples
    return fisher

# 注意：对于大模型，F的维度是 [num_params, num_params]
# 例如：100M参数的模型 → F是100M × 100M = 10^16个元素
# 这就是为什么需要近似方法（K-FAC、Shampoo等）

自然梯度（Natural Gradient） 是Amari (1998) 提出的优化方法。核心思想：在统计流形上，最速下降方向不是欧几里得梯度，而是沿流形测地线的方向。

3.1 从欧几里得梯度到自然梯度

标准梯度下降：
θ_{t+1} = θ_t - η · ∇L(θ)

自然梯度下降：
θ_{t+1} = θ_t - η · F⁻¹(θ) · ∇L(θ)

其中F⁻¹是Fisher信息矩阵的逆。

3.2 自然梯度的推导

考虑参数空间中微小变化dθ导致的损失变化：
dL = ∇L · dθ

但我们关心的是统计距离，而非参数距离。统计距离由KL散度度量：
KL(p(·|θ) ‖ p(·|θ+dθ)) ≈ (1/2) dθᵀ F(θ) dθ

在约束统计距离为常数ε的条件下，最大化损失下降：
max dL = ∇L · dθ
s.t. dθᵀ F dθ = ε²

使用Lagrange乘子法，解得：
dθ = -η F⁻¹ ∇L*

这就是自然梯度方向。它告诉我们：自然梯度就是普通梯度经过Fisher矩阵逆的"矫正"——在Fisher矩阵特征值大的方向（敏感方向）上缩小步长，在特征值小的方向（平坦方向）上放大步长。

3.3 自然梯度的关键性质

3.4 自然梯度 vs 牛顿法

牛顿法：dθ = -H⁻¹ ∇L

• H是Hessian，可能不是半正定
• 在鞍点附近行为不稳定

自然梯度：dθ = -F⁻¹ ∇L

• F保证半正定
• 更稳定的优化行为
• 对于平方损失，F等于广义Gauss-Newton矩阵

为什么自然梯度比牛顿法更稳定？ 牛顿法使用Hessian矩阵，它包含了损失函数的二阶信息。但在非凸优化中，Hessian可能有负特征值，导致更新方向不是下降方向。自然梯度使用Fisher矩阵，它总是半正定的，因此自然梯度方向始终是下降方向。这种稳定性使得自然梯度在深度学习的非凸优化中更加可靠。

3.5 参数化不变性的意义

参数化不变性是自然梯度最重要的性质之一。它意味着：无论你如何参数化模型，自然梯度的优化轨迹都是相同的。

例如，考虑线性回归模型 y = Wx。你可以用 W 来参数化，也可以用 W' = W² 来参数化。在标准梯度下降中，这两种参数化会导致完全不同的优化轨迹。但自然梯度会给出相同的优化轨迹（在分布空间中）。

这一性质在实践中非常重要，因为它意味着自然梯度对参数的尺度不敏感。你不需要精心调整每个参数的学习率——自然梯度会自动适应。

信息几何的核心结构之一是α-散度族和对偶仿射联络，它们提供了比KL散度更灵活的距离度量。

4.1 α-散度族

Amari (1985) 定义了单参数族的散度 D_α(p‖q)：

关键性质：

• α-散度是f-散度和Bregman散度的交集
• 在α-散度诱导的几何下，指数族和混合族具有对偶平坦结构
• α-联络定义了α-测地线

4.2 对偶平坦结构

对于指数族分布：
p(x|θ) = exp(θ·x - ψ(θ))

存在两组对偶坐标：

• 自然参数θ：e-仿射坐标
• 期望参数η = E[x]：m-仿射坐标

两组坐标通过Legendre变换关联：
ψ(θ) + φ(η) = θ·η

对偶Pythagorean定理：
如果P、Q、R满足 PQ ⊥ QR（e-测地线垂直于m-测地线），则：
D(P‖R) = D(P‖Q) + D(Q‖R)

这个结构是自然梯度和变分推断的数学基础。在变分推断中，我们最小化变分分布q(θ)与真实后验p(θ|D)之间的KL散度。对偶平坦结构保证了这个优化问题具有良好的几何性质——KL散度在e-测地线和m-测地线上可以分解为独立的分量，这使得优化可以在两组坐标之间交替进行。

4.3 e-投影与m-投影

在对偶平坦流形中，有两种自然的投影方式：

• e-投影：沿m-测地线投影到子流形上，最小化KL散度 D(p‖q)
• m-投影：沿e-测地线投影到子流形上，最小化反向KL散度 D(q‖p)

这两种投影在机器学习中都有重要应用。e-投影对应于最大似然估计——在模型族中找到最接近真实分布的点；m-投影对应于变分推断——在近似族中找到最接近后验分布的点。

信息几何的统一视角：从信息几何的角度看，监督学习、无监督学习、变分推断等看似不同的方法，实际上都是在统计流形上进行不同类型的投影。这种统一视角不仅提供了深刻的理论洞察，还指导了新算法的设计。

4.4 f-散度与Bregman散度的交集

α-散度的一个 remarkable 性质是：它同时属于f-散度和Bregman散度两个大家族。

• f-散度：D_f(P‖Q) = ∫ Q · f(P/Q) dx，包括KL散度、Hellinger距离、χ²散度等
• Bregman散度：D_φ(p‖q) = φ(p) - φ(q) - ⟨∇φ(q), p-q⟩，包括KL散度（在期望参数下）、马氏距离等

Amari证明了α-散度是唯一同时属于这两个家族的散度族。这一性质使得α-散度在优化中具有独特的优势——它既有f-散度的统计不变性，又有Bregman散度的凸性。

对于现代深度神经网络（百万到万亿参数），精确计算和求逆Fisher信息矩阵是不可行的。K-FAC和Shampoo是两个主流的可扩展近似方法。

5.1 K-FAC：Kronecker分解近似

核心思想（Martens & Grosse, 2015）：
对于单层权重W，Fisher矩阵可近似为两个小矩阵的Kronecker积：
F_layer ≈ A ⊗ B

其中：

• A = E[a·aᵀ] 是激活的协方差（输入侧）
• B = E[∂L/∂s · (∂L/∂s)ᵀ] 是梯度的协方差（输出侧）

计算复杂度：

• 精确FIM：O(n²) 存储，O(n³) 求逆（n是参数数）
• K-FAC：O(d_in² + d_out²) 存储，O(d_in³ + d_out³) 求逆

Kronecker积的逆：
(A ⊗ B)⁻¹ = A⁻¹ ⊗ B⁻¹

这使得求逆变得高效！

K-FAC的近似基于两个关键假设：

1. 层间独立性：不同层的Fisher块之间近似独立
2. 激活-梯度独立性：同一层内，激活和梯度近似独立

这两个假设在实践中是近似成立的，特别是对于充分训练的模型。Amari et al. (2019) 使用统计力学方法证明了在随机深度网络中，Fisher矩阵确实是分块对角的。

5.2 Shampoo：张量预条件优化

核心思想（Gupta et al., 2018）：
对于梯度矩阵G ∈ R^{m×n}，Shampoo维护两个预条件器：

• L = E[G·Gᵀ]^{1/4} （左侧预条件）
• R = E[Gᵀ·G]^{1/4} （右侧预条件）

更新规则：
ΔW = L⁻¹ · G · R⁻¹

Shampoo vs K-FAC：

Shampoo的优势在于它不依赖于损失函数的特定形式——它直接使用梯度统计量，因此可以应用于任何优化问题。K-FAC则更紧密地与Fisher矩阵联系在一起，需要特定的损失函数形式。

5.3 现代变体

SOAP（Shampoo with Orthogonalization）：

• 对预条件器进行特征分解
• 在特征空间中进行对角预条件
• 更稳定的训练

FAdam（ICLR 2025）：

• 证明Adam本质上是使用对角经验Fisher的自然梯度
• 修正了Adam的偏差校正和梯度裁剪
• 在LLM、ASR任务上超越Adam

FOP（Fisher-Orthogonal Projection, Oxford 2025）：

• 在ImageNet-1K上加速训练7.5倍（相比标准预条件优化器）
• 支持大batch训练（batch size 8192时效果最佳）
• 使用Kronecker因子的正交投影实现高效预条件
• Top-1错误率在不平衡数据集上降低2.3-3.3%

5.4 从K-FAC到SOAP：预条件器的演进

预条件优化方法的发展可以看作是对Fisher矩阵近似精度和计算效率之间权衡的不断探索：

1. 对角近似（Adam）：最简单，O(n)复杂度，但丢失所有协方差信息
2. 分块对角（K-FAC）：保留层内协方差，O(Σ d_i²)复杂度
3. Kronecker分解（Shampoo）：利用梯度张量结构，适合深层网络
4. 正交化预条件（SOAP）：对Kronecker因子进行特征分解，在特征空间中进行更精细的对角预条件

每一步都增加了计算成本，但也提高了近似的精度。在实践中，选择哪种方法取决于模型规模、硬件资源和训练时间的约束。

5.5 自然梯度与损失景观的关系

自然梯度不仅是一个优化算法，它还揭示了损失景观的深层结构。Fisher矩阵的特征值谱告诉我们：

• 大特征值方向：损失对这些方向的参数变化非常敏感，自然梯度会缩小这些方向的步长
• 小特征值方向：损失对这些方向的变化不敏感，自然梯度会放大这些方向的步长

这种自适应机制使得自然梯度能够"绕过"损失景观中的狭窄山谷，沿着平坦方向快速前进。相比之下，SGD在狭窄山谷中会来回震荡，进展缓慢。

从损失景观的角度看，自然梯度本质上是在进行各向异性的探索——在平坦方向上积极探索，在敏感方向上谨慎移动。这种策略与进化算法中的自然选择策略有异曲同工之妙。

import torch
import torch.nn as nn

class KFACLayer:
    """K-FAC简化实现（概念演示）"""
    
    def __init__(self, layer: nn.Linear, damping=0.001):
        self.layer = layer
        self.damping = damping
        self.A = torch.eye(layer.in_features + 1)
        self.B = torch.eye(layer.out_features)
        self.A_inv = None
        self.B_inv = None
        self.update_freq = 10
        self.step = 0
    
    def update_statistics(self, activations, grad_outputs):
        """更新Fisher统计量"""
        a = activations.detach()
        self.A = 0.9 * self.A + 0.1 * (a.T @ a) / a.shape[0]
        g = grad_outputs.detach()
        self.B = 0.9 * self.B + 0.1 * (g.T @ g) / g.shape[0]
    
    def compute_inverse(self):
        """计算Kronecker因子的逆"""
        self.step += 1
        if self.step % self.update_freq == 0:
            A_damped = self.A + self.damping * torch.eye_like(self.A)
            B_damped = self.B + self.damping * torch.eye_like(self.B)
            self.A_inv = torch.linalg.inv(A_damped)
            self.B_inv = torch.linalg.inv(B_damped)
    
    def natural_gradient(self, grad_weight):
        """计算自然梯度：(B_inv ⊗ A_inv) @ vec(grad)"""
        nat_grad = self.B_inv @ grad_weight @ self.A_inv
        return nat_grad

自然梯度方法在深度学习中有广泛的应用，从优化到变分推断再到强化学习。理解这些应用的关键在于认识到：自然梯度不仅仅是一个优化算法，更是一种在统计流形上进行推理的思维方式。

6.1 优化器对比：从一阶到二阶的演进

为什么Adam在实践中往往足够好？ Adam只使用对角Fisher，丢失了所有协方差信息。但从信息几何的角度看，对角近似仍然捕获了每个参数方向上的局部曲率——这已经比SGD有了质的飞跃。完整的Fisher矩阵捕获的是参数之间的交互效应，这在很多情况下是次要的。

何时需要完整的二阶信息？ 当参数之间存在强相关性时（例如，多个参数共同影响同一个输出维度），对角近似会失效。K-FAC通过Kronecker分解保留了层内的参数交互，同时牺牲了层间的交互——这是一个合理的折中，因为层间的交互通常比层内的交互弱。

Adam的局限性：虽然Adam在实践中表现良好，但它有一个根本性的局限——它假设参数之间是独立的。这个假设在很多情况下是合理的，但在以下场景中会失效：

• 卷积层：相邻像素的权重高度相关
• 循环神经网络：时间步之间的依赖关系
• Transformer：注意力机制中的长程依赖
  在这些场景中，使用K-FAC或Shampoo等保留参数交互的方法会获得更好的效果。

6.2 变分推断中的自然梯度

Noisy Natural Gradient（Zhang et al., 2018）：
在变分推断中，自然梯度等价于在参数后验分布上进行梯度下降。添加噪声可以实现随机变分推断。

KL自然梯度：
对于变分参数φ，KL散度的自然梯度为：
∇̃KL = F_φ⁻¹ ∇KL

其中F_φ是变分分布的Fisher信息。

为什么变分推断需要自然梯度？ 变分推断的目标是最小化变分分布q(θ)与真实后验p(θ|D)之间的KL散度。在参数空间中，KL散度的等值线不是圆形的——某些方向上的参数变化对KL的影响远大于其他方向。自然梯度通过Fisher矩阵自动调整步长，使得每一步在统计意义上产生均匀的进展。

6.3 强化学习中的自然梯度

TRPO（Trust Region Policy Optimization）：

• 使用KL散度约束策略更新
• 本质上是受限的自然梯度
• 保证单调改进

TRPO的更新规则可以写为：
max_θ A(θ) s.t. KL(π_old ‖ π_θ) ≤ δ

其中A(θ)是优势函数，δ是信任区域半径。这个问题的解恰好是自然梯度方向上的一个步长。

PPO与自然梯度的关系：
PPO的裁剪机制可以看作是对自然梯度的自适应约束。通过裁剪概率比率，PPO隐式地限制了策略更新的统计距离——这与自然梯度的精神是一致的。

GAE（Generalized Advantage Estimation）的信息几何解释：
GAE使用指数加权的优势估计，从信息几何的角度看，这相当于在策略空间中沿着一条平滑的轨迹移动。λ参数控制了轨迹的平滑程度——λ=0对应于单步TD更新（更保守），λ=1对应于蒙特卡洛更新（更激进但不稳定）。

6.4 大模型训练中的实践

实际建议：

1. 小模型（< 100M参数）：可以尝试K-FAC或Shampoo
2. 中等模型（100M-10B）：使用AdamW + 学习率预热
3. 大模型（> 10B）：AdamW + ZeRO优化 + 混合精度

内存优化：

• K-FAC需要存储每层的A和B矩阵，总内存约为模型参数的2-4倍
• Shampoo的内存开销类似
• 使用低精度（FP16/BF16）存储预条件器可以节省内存

学习率调度：
自然梯度方法对学习率的选择比SGD更敏感。建议的学习率调度策略：

• 预热阶段：从极小的学习率开始，线性增加到目标值
• 余弦退火：使用余弦函数逐渐降低学习率
• 自适应阻尼：根据Fisher矩阵的条件数动态调整阻尼参数

调试技巧：
如果自然梯度训练不稳定，可以尝试：

1. 增加阻尼参数（damping）的值
2. 降低Kronecker近似的更新频率
3. 检查梯度范数是否异常增大
4. 验证Fisher矩阵的正定性

信息几何不仅有实用的优化算法，还有深刻的数学结构。这一章我们探讨一些更深层的理论结果，它们为自然梯度方法提供了坚实的数学基础。

7.1 统计流形的曲率

信息曲率：统计流形的Riemann曲率张量由α-联络决定。

对于指数族，e-曲率和m-曲率满足对偶关系：
R_e + R_m = 0

平坦流形的特殊情况：

• 指数族在e-联络下是平坦的（R_e = 0）
• 混合族在m-联络下是平坦的（R_m = 0）

曲率的实际意义：曲率衡量了统计流形偏离平坦空间的程度。在高曲率区域，自然梯度和欧几里得梯度的差异更大；在低曲率区域，两者近似相同。这解释了为什么在某些参数区域，自然梯度的优势更明显。

7.2 Cramér-Rao界与渐近效率

Cramér-Rao下界：对于参数θ的任何无偏估计量θ̂，其方差满足：
Var(θ̂) ≥ F⁻¹(θ)

Amari (1998) 证明了在线自然梯度下降在满足一定条件下，渐近达到Cramér-Rao下界——这意味着自然梯度在统计意义上是最优的：它用尽可能少的样本达到最优估计精度。

虽然Cramér-Rao界是渐近结果，但它告诉我们自然梯度在有限样本下也应该表现良好——特别是在数据稀缺或噪声较大的场景中。

7.3 信息几何与量子计算

量子Fisher信息：
量子态的参数化也构成统计流形，量子Fisher信息定义了量子Cramér-Rao界。

量子自然梯度（Stokes et al., 2019）：
用于变分量子算法的优化，在量子电路学习中展现优势。在近期的含噪声中等规模量子（NISQ）设备上，量子自然梯度比SGD收敛更快，需要的训练步数更少——这在量子计算资源昂贵的情况下尤为重要。

7.4 开放问题

1. 非凸优化：自然梯度在非凸损失景观上的收敛保证？目前只有局部收敛结果，全局收敛仍是开放问题
2. 自适应预条件：如何动态选择K-FAC的块结构？不同层应该使用不同的近似精度吗？
3. 与Transformer的结合：注意力机制的Fisher结构如何近似？自注意力的长程依赖使得Kronecker分解的效果存疑
4. 理论-实践差距：为什么Adam（对角Fisher）在实践中往往足够好？是否存在某种"信息瓶颈"效应使得协方差信息不那么重要？