KDA（Kimi Delta Attention）
KDAKimi K3 的注意力机制
亦作、亦称：Kimi Delta Attention · KDA
KDA（Kimi Delta Attention） 是 Kimi K3 引入的新型注意力机制，通过增量计算和 Attention Residuals 将 1M 上下文的复杂度从 O(n²) 降至 O(n)，是超长上下文模型的关键技术突破。
技术原理
KDA（Kimi Delta Attention）通过增量计算实现 O(n) 复杂度的 1M 上下文处理。核心思想是只计算新增 token 与历史 token 的'delta'（差异），通过 Attention Residuals 将历史 token 的注意力状态压缩为残差向量。
性能对比
理论分析表明 KDA 保持与全量计算约 98% 的精度（待独立验证）。对比 Linear Attention O(n) 精度约 90%、Sparse Attention O(n√n) 精度约 95%，KDA 在精度和复杂度上取得最佳平衡。
工程影响
KDA 的核心贡献是将 1M 上下文的推理成本降低到可接受范围，使超长上下文应用（如完整代码库分析、长文档理解）成为可能。具体技术细节待权重公开后确认。
常见误解
日常交流中容易听到的简化说法，未必准确，但能帮助理解误解从何而来。
- 「Kimi K3 的注意力机制」
- 「1M 上下文的关键」
相关术语
和本术语关联紧密的其他词条，便于串联理解。
🎯 考点练习
含该术语的高频面试题，含标准答案与追问。
- 中级开放高频查看详解 →
分析 Kimi K3 的开源策略对全球 AI 竞争格局的影响
2026 年 7 月 Moonshot AI 发布 Kimi K3 — 2.8T 参数全球最大开源 MoE 模型，Frontend Code Arena 排名第一。其开源策略（承诺 7/27 公开权重）和中美 AI 竞争格局（Moonshot 估值 $31.5B vs OpenAI $300B）使其成为 2026 年最具地缘政治意义的 AI 发布之一。
- 高级概念高频查看详解 →
FlashAttention 如何在不改变数学结果的前提下加速注意力并节省显存？
同样的注意力数学，靠分块（tiling）+ online softmax 避免把 N×N 注意力矩阵写回 HBM，减少访存而非减少计算。
- 高级概念查看详解 →
多查询注意力（MQA）与分组查询注意力（GQA）解决了什么问题？
让多个 Query 头共享 K/V 头，缩小 KV-cache 显存与解码访存，MQA 共享到 1 组、GQA 折中分多组。
- 高级概念查看详解 →
线性注意力如何把注意力复杂度降到 O(n)？
线性注意力用核函数 φ 近似 softmax，借矩阵乘法结合律先算 φ(K)ᵀV，避开 n×n 矩阵，把复杂度降到 O(n)。
延伸阅读
从知识库精选 1 篇文章，帮助深入理解该术语。
外部参考
维基百科：查看「KDA」词条本页内容为本站原创撰写；维基百科链接仅作延伸参考。
