注意力机制：从 Seq2Seq 到 Transformer 的革命

注意力机制的诞生源于一个根本性问题：传统的序列到序列（Seq2Seq）模型在处理长序列时存在信息瓶颈。

在 2014 年之前，Seq2Seq 模型的架构非常直接——编码器将整个输入序列压缩成一个固定维度的上下文向量，解码器基于这个向量生成输出序列。这种设计在面对短句子时表现良好，但当输入序列变长时，所有信息都必须挤进一个固定大小的向量中，导致远距离依赖关系严重丢失。

想象一下，你要把一本 1000 页的书压缩成一段 100 字的摘要，然后让另一个人仅凭这段摘要回答书中的任何问题。这就是早期 Seq2Seq 模型面临的困境。

实验数据表明，当源序列长度从 10 增加到 50 时，BLEU 分数从 35.2 下降到 18.7，降幅达 47%。这直接证明了固定上下文向量无法承载长序列的全部信息。注意力机制的引入，将 BLEU 分数在相同长度下提升到了 28.5，恢复约 25 个百分点。

关键认识：上下文向量是信息压缩的瓶颈。序列越长，信息损失越严重。翻译长句子时，开头的词在解码阶段几乎被遗忘。

2014 年，Bahdanau 等人在论文《Neural Machine Translation by Jointly Learning to Align and Translate》中首次提出了加性注意力（Additive Attention），也被称为 Bahdanau 注意力。这是注意力机制的起点。

Bahdanau 注意力的核心创新在于：解码器在生成每个输出词时，不再是依赖单一的上下文向量，而是动态地计算编码器所有隐藏状态的加权和，权重由注意力打分函数决定。

注意力权重的计算分为三步：

第一步，计算对齐分数（Alignment Score），使用一个前馈神经网络计算解码器当前隐藏状态与编码器每个隐藏状态的相关性：$e_{ij} = v_a^T \tanh(W_a s_{i-1} + U_a h_j)$。

第二步，使用 Softmax 将分数归一化为概率分布：$\alpha_{ij} = \exp(e_{ij}) / \sum_k \exp(e_{ik})$。

第三步，计算上下文向量：$c_i = \sum_j \alpha_{ij} h_j$。

加性注意力的名称来源于其评分函数将 $s_{i-1}$ 和 $h_j$ 分别通过不同的线性变换后相加（而不是拼接）。这与后来的 Luong 注意力（乘性注意力）形成了对比。

# Bahdanau 注意力实现
import torch
import torch.nn as nn
import torch.nn.functional as F

class BahdanauAttention(nn.Module):
    def __init__(self, hidden_size):
        super().__init__()
        self.W_a = nn.Linear(hidden_size, hidden_size)
        self.U_a = nn.Linear(hidden_size, hidden_size)
        self.v_a = nn.Linear(hidden_size, 1, bias=False)
    
    def forward(self, decoder_hidden, encoder_outputs):
        # decoder_hidden: (batch, hidden_size)
        # encoder_outputs: (batch, seq_len, hidden_size)
        decoder_hidden = decoder_hidden.unsqueeze(1)  # (batch, 1, hidden)
        energy = torch.tanh(self.W_a(decoder_hidden) + self.U_a(encoder_outputs))
        attention_scores = self.v_a(energy).squeeze(-1)  # (batch, seq_len)
        attention_weights = F.softmax(attention_scores, dim=1)
        context = torch.bmm(attention_weights.unsqueeze(1), encoder_outputs)
        return context.squeeze(1), attention_weights

2015 年，Luong 等人在《Effective Approaches to Attention-based Neural Machine Translation》中提出了乘性注意力（Multiplicative Attention），也被称为 Luong 注意力。

与 Bahdanau 注意力的「相加」不同，Luong 注意力使用点积来计算对齐分数：$e_{ij} = s_{i-1}^T W_a h_j$（general 变体），或更简单地 $e_{ij} = s_{i-1}^T h_j$（dot 变体）。

Luong 注意力的核心优势在于计算效率。点积运算可以利用现代 GPU 的高度优化矩阵乘法（cuBLAS），而 Bahdanau 的前馈网络计算则无法充分利用硬件加速。实验表明，在相同配置下，Luong 注意力的训练速度比 Bahdanau快 1.5-2 倍。

Luong 还提出了两种注意力策略：全局注意力（关注编码器的所有位置）和局部注意力（只关注以预测位置为中心的窗口）。局部注意力将计算量从 $O(n)$ 降为 $O(w)$，其中 $w$ 是窗口大小。

三种 Luong 注意力变体对比：dot 变体零参数、最快，但要求维度匹配；general 变体有 $d^2$ 参数、灵活，维度可不同；concat 变体参数最多、最接近 Bahdanau。

# Luong 注意力（general 变体）实现
class LuongAttention(nn.Module):
    def __init__(self, hidden_size, variant="general"):
        super().__init__()
        self.variant = variant
        if variant == "general":
            self.W_a = nn.Linear(hidden_size, hidden_size, bias=False)
        elif variant == "concat":
            self.W = nn.Linear(2 * hidden_size, hidden_size)
            self.v_a = nn.Linear(hidden_size, 1, bias=False)
    
    def forward(self, decoder_hidden, encoder_outputs):
        # decoder_hidden: (batch, hidden)
        # encoder_outputs: (batch, seq_len, hidden)
        decoder_hidden = decoder_hidden.unsqueeze(1)  # (batch, 1, hidden)
        
        if self.variant == "dot":
            energy = torch.bmm(decoder_hidden, encoder_outputs.transpose(1, 2))
        elif self.variant == "general":
            energy = torch.bmm(
                self.W_a(decoder_hidden), encoder_outputs.transpose(1, 2)
            )
        else:  # concat
            expanded = decoder_hidden.repeat(1, encoder_outputs.size(1), 1)
            concat_input = torch.cat([expanded, encoder_outputs], dim=-1)
            energy = self.v_a(torch.tanh(self.W(concat_input)))
        
        attention_weights = F.softmax(energy.squeeze(-1), dim=1)
        context = torch.bmm(attention_weights.unsqueeze(1), encoder_outputs)
        return context.squeeze(1), attention_weights

2017 年，Vaswani 等人在划时代论文《Attention Is All You Need》中提出了自注意力机制（Self-Attention），彻底颠覆了序列建模的范式。

自注意力与前两种注意力的本质区别在于：它不再是一个「编码器-解码器」之间的桥梁，而是序列内部每个位置对所有其他位置的关注。每个词都直接与其他所有词建立联系，绕过了 RNN 的顺序处理限制。

自注意力的核心是三个可学习的线性变换：$Q = XW_Q$，$K = XW_K$，$V = XW_V$。注意力输出计算为：$\text{Attention}(Q, K, V) = \text{softmax}(QK^T / \sqrt{d_k})V$。

这里有一个关键设计：缩放因子 $1/\sqrt{d_k}$。当 $d_k$ 较大时，点积的值会变得很大，导致 Softmax 的梯度接近于零（梯度消失）。缩放因子确保点积的方差保持在合理范围内。

为什么自注意力是革命性的？

第一，并行计算：所有位置的注意力分数可以同时计算，不像 RNN 必须按顺序处理。第二，直接长距离建模：任意两个位置之间的距离都是 1（通过一次矩阵乘法），不存在 RNN 中的路径衰减问题。第三，可解释性：注意力权重矩阵直接展示了词与词之间的关联强度。

多头注意力（Multi-Head Attention）通过并行运行多个独立的注意力头，每个头使用不同的权重矩阵，然后将结果拼接并投影。原始 Transformer 使用 8 个头，每个头的维度为 64。多头注意力的直觉是：不同的头关注不同的语言现象——有的关注句法关系，有的关注语义相似性，有的关注位置关系。

自注意力机制有一个致命缺陷：它是排列不变的（permutation-invariant）。如果交换输入序列中两个词的位置，自注意力的输出不会改变。这意味着模型无法区分「猫吃鱼」和「鱼吃猫」——两个句子的自注意力输出完全相同。

位置编码（Positional Encoding）就是为了解决这个问题而设计的。原始 Transformer 使用固定的正弦函数来生成位置编码，这种设计有一个优雅的数学性质：对于任意固定偏移 $k$，$PE_{pos+k}$ 可以表示为 $PE_{pos}$ 的线性变换。

旋转位置编码 RoPE（当前主流）通过旋转变换将位置信息注入到 Q 和 K 中。RoPE 的关键优势在于：注意力分数只依赖于相对位置而非绝对位置；天然支持长度外推；计算效率高。RoPE 已被 GPT、LLaMA、Qwen 等几乎所有主流大语言模型采用。

线性注意力偏置 ALiBi采用了一种更简洁的思路：直接在注意力分数上添加与距离成正比的偏置。ALiBi 的核心优势是推理时可以处理任意长度的序列，完全没有长度外推的问题。

自 2017 年以来，研究者提出了大量注意力机制的变体，针对不同的性能瓶颈和应用场景进行优化。

稀疏注意力（Sparse Attention）的核心思想是：不是所有词对之间的注意力都是必要的。常见的稀疏模式包括固定窗口注意力（如 BigBird 的局部窗口）、全局注意力（特殊位置关注所有位置）、随机注意力和膨胀注意力。BigBird 模型结合了三种稀疏模式，将理论复杂度从 $O(n^2)$ 降到 $O(n)$。

线性注意力（Linear Attention）通过核函数技巧改变注意力的计算顺序，将复杂度从 $O(n^2)$ 降到 $O(n)$。Linear Transformer 使用 ELU 激活函数作为核函数。

滑动窗口注意力是一种简单而有效的稀疏化策略——每个 token 只关注其前后 $w$ 个位置内的 token。Mistral 7B 和 LLaMA 3 都采用了这种技术。

交叉注意力（Cross-Attention）用于两个不同序列之间的注意力计算。在 Transformer 的解码器中，交叉注意力让解码器的每个位置关注编码器的全部输出。这也是扩散模型中文本条件注入的核心机制。

理解了注意力机制的各个组件后，现在将它们组装成完整的 Transformer 架构。

原始 Transformer 由 6 层编码器和 6 层解码器堆叠而成。编码器层包含多头自注意力、残差连接、层归一化、前馈网络。解码器层包含掩码多头自注意力、残差连接、层归一化、交叉注意力、残差连接、层归一化、前馈网络。

因果掩码（Causal Mask）是解码器的核心——确保位置 $i$ 只能关注位置 $\leq i$ 的词。实现方式是在注意力分数矩阵的上三角填充 $-\infty$。

从 Transformer 到现代 LLM：现代大语言模型（如 GPT、LLaMA、Qwen）本质上是仅解码器的 Transformer（Decoder-only Transformer），去掉了编码器和交叉注意力。核心变化包括 Pre-Norm 替代 Post-Norm、SwiGLU 替代 ReLU、RoPE 替代正弦编码、GQA/MQA 替代标准多头注意力。

尽管有这些改进，自注意力机制的核心公式$\text{softmax}(QK^T/\sqrt{d_k})V$ 从未改变——这是注意力机制最持久的遗产。

注意力权重提供了难得的可解释性窗口——通过可视化注意力矩阵，我们可以观察到模型在做什么。

研究表明，不同层和不同注意力头呈现出系统性的注意力模式：浅层头倾向于关注相邻位置，类似 n-gram 模型；中层头关注句法依赖关系；深层头关注语义相关性和全局主题信息。

例如，在翻译任务中，某些注意力头会自发地学习到对齐模式——英语的 "the cat" 和法语的 "le chat" 之间的注意力权重最高。

需要注意的是，高注意力权重不等于因果关系。近年来的研究发现：注意力权重可以大幅扰动而不影响模型输出；某些头部表现出「注意力头崩溃」现象——权重趋近于均匀分布；梯度比注意力权重更能反映重要性。

因此，注意力权重是有用的诊断工具，但不是模型决策的完全解释。推荐使用 BertViz 和 exBERT 等开源工具来可视化注意力模式。