RoPE（旋转位置编码）

Rotary Position Embedding，用旋转变换将相对位置信息注入 Attention，支持一定程度的外推长度扩展，是 LLaMA 等模型的标配。 RoPE 用几何旋转编码 token 相对位置，兼顾外推潜力与实现简洁，是开源 LLM 栈的事实标准。

工作原理

对 Query/Key 向量按维度两两分组，乘以与位置相关的旋转角，使内积仅依赖相对位置差。相比绝对位置编码，更自然地表达相对距离；配合 NTK-aware 插值、YaRN 等可在推理时扩展超过训练长度的上下文。

应用场景

LLaMA、Qwen、DeepSeek 等 Decoder-only 模型的默认位置方案；长文档 RAG、代码库问答等需扩展上下文的场景常在此调参。

局限与误区

外推并非免费午餐：超过训练长度后性能仍可能衰减。不同模型的 base 频率与缩放策略需与 checkpoint 匹配，盲目拉长 context 窗口可能适得其反。

发展脉络

2021 年 Su 等提出 RoPE；2023 年随 LLaMA 开源普及；2024 年长上下文竞赛推动 NTK/YaRN 等外推技术成熟。