机制可解释性

机制可解释性不满足于知道模型「输出了什么」，而是追问「内部是怎么计算出来的」。

• 目标层次：逆向工程神经网络，将权重矩阵翻译成人类可读的算法描述
• 核心假设：模型的行为可以被分解为若干特征（features）和电路（circuits），每个电路完成特定子任务
• 与黑盒解释的区别：不依赖输入输出的统计相关性，而是在网络内部寻找因果机制
• 实际意义：为 AI 安全审计提供工具，尤其针对幻觉生成、目标欺骗等高风险行为

该领域从 CNN 可视化起步，因大语言模型的安全需求而急速扩张。

• 2015–2019：Chris Olah 在 Google Brain 发表神经网络可视化系列，为电路分析奠基
• 2020：OpenAI 研究员 Olah 等在 Distill.pub 发表「Zoom In」，提出「电路」框架，「机制可解释性」术语正式登场
• 2022：归纳头（Induction Heads）被识别，首次将电路研究系统扩展到 Transformer 语言模型；Anthropic 发布「Toy Models of Superposition」，定量研究叠加现象
• 2023：「Towards Monosemanticity」引入稀疏自编码器（SAE）作为分解多义神经元的主流工具
• 2024–2025：Anthropic 发布「归因图（Attribution Graph）」方法，实现对大型语言模型逐步推理过程的因果追踪

当前机制可解释性研究围绕以下几类技术展开。

• 激活修补（Activation Patching）：将一次推理的中间激活替换进另一次推理，定位因果关键组件
• 稀疏自编码器（Sparse Autoencoder, SAE）：将神经元激活映射到更高维的稀疏特征空间，以分离叠加特征
• 逻辑归因（Logit Attribution）：将最终输出的 logit 差分解到各注意力头和 MLP 层的贡献
• 电路发现（Circuit Discovery）：自动或手动找到执行特定任务（如指代消歧、模运算）的最小权重子图
• 归因图（Attribution Graph）：追踪模型推理链，生成可视化的因果计算图

已有若干具体电路被完整逆向，为领域树立了标杆。

• 归纳头（Induction Heads）：由两层注意力头组成的电路，负责上下文内少样本学习与模式复制
• 间接目标效应（IOI）电路：GPT-2 中负责「玛丽给了约翰___」类指代消歧的完整注意力电路
• 数字运算电路：小型 Transformer 中的模运算被分解为若干平行的傅里叶频率子电路
• 叠加特征图谱：Anthropic 在 Claude 3 Sonnet 上运行大规模 SAE，识别出对应「欺骗」「情绪」等概念的可解释特征方向
• 多义性普遍存在：实验表明单个神经元几乎总是同时编码多个不相关概念（polysemanticity）

机制可解释性被视为理解并减轻 AI 风险的重要技术路径。

• 帮助定位幻觉产生的神经回路，为针对性修复提供依据
• 检测模型是否存在欺骗性对齐——表面顺从、内部仍保留有害表征
• 为红队测试提供机制层面假说，而非纯黑盒搜索
• 支持知识编辑：借助电路定位精准修改错误知识（如 ROME 方法）
• Anthropic 将其列为核心研究方向，认为它是从根本上理解前沿模型的必要条件

该领域仍处于早期阶段，存在若干根本性挑战。

• 可扩展性瓶颈：大多数电路研究局限于 GPT-2 等小模型，向百亿参数模型迁移难度极大
• 叠加壁垒：叠加（superposition）现象使单个神经元难以对应单一概念，大量特征仍无法干净分离
• 因果完备性难以验证：找到的电路可能只是充分条件之一，不能排除其他并行机制
• 误区——神经元即特征：多义性（polysemanticity）在大模型中几乎无处不在，不可直接将神经元等同于语义单元
• 距离量产审计尚远：现有工具尚无法对整个模型做完整、可重复的安全审计，不宜过度依赖

机制可解释性常与其他解释性方法混淆，核心区别在于粒度与因果深度。

• vs 可解释 AI（XAI）：XAI 多指 LIME/SHAP 等输入归因方法，停留在「哪个输入特征重要」；机制可解释性深入网络内部，追问「哪条计算路径」
• vs 行为评估（Benchmarking）：基准测试只看输出，机制研究看权重和激活，可发现隐藏能力或意图
• vs 探针分析（Probing）：探针仅判断「某信息是否存在于表征中」，不揭示信息如何被使用
• vs 神经元可视化：早期 CNN 可视化关注单个神经元偏好图像，机制研究更关注神经元间的电路因果结构