简要回答
Agentic RAG 多轮循环需要三维工程治理:最大轮数+提前终止防不收敛,评估器校准+滑动窗口防漂移,分层上下文预算(摘要/片段/历史)防爆炸。
核心要点
识别三类失败模式:循环不收敛(无限重试或震荡)、评估器漂移(误判检索质量导致过早终止或持续重检索)、上下文爆炸(多轮累积超出 Token 限制)
最大轮数+提前终止:设置硬上限(如 5 轮)和软终止条件(连续 N 轮评估分数低于阈值、检索结果去重率低于阈值、用户意图已满足)
评估器校准+滑动窗口:用滑动窗口(如最近 3 轮)计算平均质量分,避免单轮波动;定期用人工标注校准评估器,防止漂移
分层上下文预算:将上下文分为摘要层(全局背景)、片段层(当前检索结果)、历史层(前轮对话),按优先级压缩或丢弃
标准回答
一、先识别三类失败模式
Agentic RAG 把固定流水线升级为多轮「检索-评估-反思」循环,但生产环境会遇到三类典型失败:
- 循环不收敛:模型反复检索相似内容,或评估器始终判定「不够好」,导致无限重试或震荡。
- 评估器漂移:评估检索质量的模型或规则随时间漂移,误判质量导致过早终止(漏检)或持续重检索(成本爆炸)。
- 上下文爆炸:多轮检索累积的片段、历史对话和中间推理超出 Token 限制,导致截断或生成质量下降。
二、最大轮数 + 提前终止
设置硬上限(如 5 轮)防止无限循环,同时设计软终止条件:
- 连续 N 轮评估分数低于阈值:如连续 2 轮质量分 < 0.6,说明检索已无改进空间,提前终止。
- 检索结果去重率低于阈值:如新检索结果与已有内容重叠度 > 80%,说明已覆盖主要信息。
- 用户意图已满足:让模型显式判断「当前信息是否足够回答用户问题」,满足则终止。
硬上限兜底,软终止优化效率和成本。
三、评估器校准 + 滑动窗口
评估器漂移是隐蔽问题。解决方案:
- 滑动窗口阈值:不用单轮分数决策,而是用最近 3 轮的平均质量分。单轮波动不触发终止,避免误判。
- 定期校准:每周或每月用人工标注样本校准评估器,检测漂移并调整阈值。
- 多评估器交叉验证:用两个独立评估器(如基于嵌入的相似度 + 基于 LLM 的相关性判断),不一致时触发人工审查。
四、分层上下文预算
上下文爆炸需要分层管理:
- 摘要层(优先级最高):全局背景、用户意图、关键实体,始终保留。
- 片段层(中等优先级):当前轮检索结果,按质量分排序,超出预算时丢弃低分片段。
- 历史层(最低优先级):前轮对话和中间推理,超出预算时压缩为摘要或丢弃。
每层设置独立预算(如摘要层 20%、片段层 50%、历史层 30%),总预算不超过模型上下文窗口的 80%(留 20% 给生成)。
五、代价与权衡
更严格的控制降低失败率但增加延迟和成本:多轮评估需要额外调用,滑动窗口需要缓存历史分数,分层压缩需要额外的摘要生成。评估器本身也需要维护和校准,否则会成为新的故障源。上下文压缩可能丢失关键信息,需要在压缩率和信息保留之间权衡。
回答时按「识别失败模式 → 三维解决方案 → 代价权衡」展开,逻辑清晰且能落地。
常见误区
⚠️ 常见踩坑
误区一:容易答偏的地方:别只讲「设置最大轮数」就结束——这只是兜底,不是完整方案。生产环境需要软终止条件(连续低分、去重率、意图满足)来优化效率,否则硬上限会导致大量请求跑满 5 轮才终止,延迟和成本不可接受。也别忽略评估器漂移——评估器本身会随时间失效,需要滑动窗口和定期校准。
追问
追问 1:如何设计评估器?用嵌入相似度还是 LLM 判断?
两者结合。嵌入相似度(如检索片段与用户问题的余弦相似度)快且便宜,但无法判断语义相关性(如「苹果」在水果和公司的语境中嵌入相近)。LLM 判断(如让模型评分 1-5)更准但贵且慢。生产环境通常用嵌入相似度做初筛,LLM 判断做精排和关键决策(如是否终止循环)。也可以用两个评估器交叉验证,不一致时触发人工审查。
追问 2:上下文压缩会丢失信息,如何平衡?
分层管理是关键。摘要层(全局背景、用户意图)始终保留,片段层按质量分排序丢弃低分内容,历史层压缩为摘要。压缩时用专门的摘要模型(如更小的 LLM)提取关键信息,而不是简单截断。也可以用 RAG 的检索能力反查:如果压缩后生成质量下降,触发重新检索补充。权衡点是压缩率和信息保留——通常保留 80% 关键信息、压缩 50% Token 是合理起点,但需要根据具体任务调整。
追问 3:如果评估器和 LLM 判断不一致怎么办?
设计降级策略:如果两个评估器不一致(如嵌入相似度说「好」但 LLM 说「差」),触发人工审查或保守决策(继续检索)。也可以用第三个评估器(如基于规则的关键词匹配)做仲裁。长期看,不一致样本是评估器校准的宝贵数据,应该收集并用于定期重新训练,逐步降低两个评估器之间的分歧率。
🔗 相似问题
同一考点的不同问法,换着练更稳
延伸学习
按主题分类的相关资源,便于系统复习
