长上下文的「迷失在中间」（Lost in the Middle）是什么？如何缓解？

一、现象定义

Lost in the Middle 指：当回答所需的关键信息位于长上下文的中间位置时，模型的检索与利用能力明显下降；信息放在开头或结尾时表现最好，准确率随位置呈 U 型曲线。

二、成因

与位置编码、注意力的位置偏置以及训练数据中"重要信息常居首尾"的分布有关，导致模型对中段 token 的有效利用率偏低。窗口变大并不自动解决利用率问题。

三、缓解手段

• 检索重排：把 reranker 打分最高的片段放到上下文首尾两端，而非简单按相关度顺序堆叠。
• 压缩与精简：用摘要/抽取去掉冗余，缩短上下文长度，减少中段稀释。
• 分段处理：长文档分块分别提问再聚合结果（map-reduce），避免单次塞入超长上下文。
• 评测验证：用定位探针在不同位置插入"针"来度量并对比改进效果。