LongCat Sparse Attention（LSA）

LSA 不是单一算法改进，而是三层工程优化的组合：

• 流感知索引（Stream-Aware Index）：针对硬件访问模式优化。传统稀疏注意力的索引查找产生碎片化内存访问，GPU 无法利用连续内存的高带宽。流感知索引将查询按访问模式重组，使索引结果在内存中连续，减少碎片化访存。
• 跨层索引（Cross-Layer Index）：解决重复计算。多层 Transformer 的注意力模式存在冗余，跨层索引将单层计算结果复用到多层，避免每层独立计算相似的稀疏模式。
• 层级索引（Hierarchical Index）：解决候选集规模。1M 上下文下即使稀疏，候选 token 仍可能达数万。层级索引先用粗粒度索引筛选出千级候选，再用细粒度索引精排到百级，避免全量扫描。

三层分别对应硬件访问效率、计算复用、候选集规模三个不同维度的工程问题。

LSA 在论文中是三层完整实现，但 SGLang 工程集成时只保留了 CLI（Cross-Layer Index）和 SI（Stream-Aware Index），简化了层级索引。这反映工程落地的典型权衡：层级索引的粗到细筛选在百万级上下文收益最大，但实现复杂度高；当上下文规模在数十万级时，CLI+SI 已能覆盖主要收益，层级索引的边际收益不足以证明其复杂度成本。

另一个工程约束：稀疏注意力必须在训练时引入，不能仅在推理时切换。模型如果在训练阶段使用全注意力，推理时切换到稀疏注意力会导致注意力分布不匹配，质量下降。这意味着采用 LSA 需要从预训练阶段就接受稀疏模式，是架构决策而非部署优化。

LSA 与 FlashAttention、Linear Attention 等方案不在同一层面：

• FlashAttention：精确注意力的 IO 优化，不改变注意力计算本身（仍是 O(n²)），通过分块计算减少 HBM 访问。LSA 是真正的稀疏注意力，计算复杂度从 O(n²) 降至接近 O(n)。
• Linear Attention：用核函数近似将注意力复杂度降至 O(n)，但牺牲了注意力的精确性（近似误差）。LSA 保持精确注意力，通过索引优化减少实际计算的 token 对数量。
• LongCat Sparse Attention：系统级工程实现，三层优化分别解决硬件访问、计算复用、候选集规模问题。不是单一算法创新，而是面向百万级上下文的生产级工程方案。

选型判据：1M+ 上下文且需要精确注意力时 LSA 适用；数十万级上下文 FlashAttention 已足够；对精度不敏感且追求极致速度时 Linear Attention 可能更合适。