核心要点
模型漂移 vs 传统崩溃：AI Agent 故障是渐进式的——输出质量缓慢下降而非突然报错，传统 APM 的 5xx 告警完全失效，需要建立基于语义一致性的新型监控指标。
三层漂移检测体系：输入层（分布偏移检测，用 KL 散度或 PSI 指标）、输出层（语义相似度基线 + 幻觉率采样）、行为层（工具调用模式异常检测，如调用频率突变或参数分布偏移）。
故障隔离机制：Agent 级熔断器（连续 N 次输出低于基线分数则降级到规则引擎）、子任务沙箱（每个子任务独立上下文，失败不污染父任务）、人工覆盖通道（低置信度输出自动路由到人工队列）。
成本监控联动：PagerDuty 警告 $7250 亿 AI 基础设施投资缺乏运维配套，Token 消耗异常（单次任务超均值 3 倍）应触发自动降级或暂停。
简要回答
AI Agent 漂移检测需要三层体系：输入层用 PSI/KL 散度检测数据分布偏移，输出层用语义相似度基线 + 幻觉率采样监控质量下降，行为层检测工具调用模式异常。隔离靠Agent 级熔断器（连续低分输出自动降级）+ 子任务沙箱（失败不扩散）。人工覆盖通道兜底低置信度输出。核心原则：AI 故障不是 5xx 而是渐进退化，监控必须从可用性转向语义一致性。
标准回答
一、问题本质：为什么 AI Agent 故障不同于传统服务
传统微服务故障是离散的（超时、5xx、OOM），APM 工具用阈值告警即可覆盖。但 AI Agent 的故障是渐进式模型漂移：
- 输出质量缓慢下降：模型更新后幻觉率从 2% 升到 8%，但服务仍返回 200 OK
- 输入分布偏移：生产数据与训练数据分布逐渐偏离，Agent 决策准确率逐周下滑
- 级联效应：一个子 Agent 的漂移输出作为另一个 Agent 的输入，错误在 Agent 间传播放大
PagerDuty 高管在 2026 年警告：全球 AI 资本支出达 $7250 亿（BNP Paribas 数据），但大部分投资没有配套的 Agent 级运维体系。
二、三层漂移检测体系
1. 输入层 — 分布偏移检测
监控 Agent 接收的输入是否偏离训练/微调时的数据分布：
| 指标 | 方法 | 阈值示例 |
|---|---|---|
| 特征分布偏移 | Population Stability Index (PSI) | PSI > 0.2 告警 |
| 文本分布偏移 | KL 散度 / JS 散度 | 连续 3 天超基线 2σ |
| 新实体/概念占比 | 命名实体识别 + 未知词比例 | 未知实体 > 15% |
2. 输出层 — 语义质量监控
- 语义相似度基线：对同类输入的输出做 embedding，计算与历史基线的余弦相似度均值；低于 0.85 触发告警
- 幻觉率采样：每 100 次输出随机抽 5 次，用 LLM-as-Judge 或事实核查 API 评估幻觉率；>5% 触发降级
- 一致性校验：同一输入多次调用的输出方差，方差突增说明模型稳定性下降
3. 行为层 — 工具调用模式检测
- 调用频率异常：某工具调用次数突增 3 倍（可能 Agent 陷入重试循环）
- 参数分布偏移：工具调用参数的统计分布变化（如搜索关键词长度骤降）
- 错误传播链：追踪 Agent A 的输出 → Agent B 的输入 → Agent C 的决策，定位漂移源头
三、故障隔离机制
1. Agent 级熔断器
借鉴微服务熔断模式，但判断条件从「错误率」改为「输出质量分数」：当滚动窗口（20 次调用）内的平均质量分数低于阈值时，自动降级到确定性规则引擎，并触发运维告警。
2. 子任务沙箱
每个子任务独立上下文窗口，完成后生成面向决策的摘要（而非原始输出）合并回父任务。子任务失败不污染父任务上下文，最多丢失该子任务的中间结果。
3. 人工覆盖通道
- 低置信度路由：Agent 自评置信度 < 0.7 的输出自动路由到人工队列
- 分级响应：P0（涉及资金/合规）必须人工确认，P1（客服回复）可自动发送但附带置信度标签
- 反馈闭环：人工修正结果回流为评测集，用于下一轮漂移检测基线更新
四、成本监控联动
Token 消耗是 AI Agent 运维的独特成本维度：
| 异常模式 | 可能原因 | 自动响应 |
|---|---|---|
| 单次任务 Token > 均值 3x | Agent 陷入重试/死循环 | 强制终止 + 告警 |
| 日 Token 消耗超预算 150% | 输入数据量激增或提示词膨胀 | 降级到小模型 + 通知 |
| 缓存命中率骤降 | 提示词频繁变更或上下文策略失效 | 回滚到上一版提示词 |
五、实操清单
- 基线建立：收集 2 周正常运行的输入/输出/工具调用数据，建立各层指标的基线和阈值
- 监控栈：Langfuse/LangSmith 做 LLM Tracing + Prometheus 做指标告警 + 自定义 Dashboard 展示漂移指标
- 熔断配置：从宽松阈值开始（避免误报），逐步收紧
- 演练：每月注入合成漂移数据，验证检测和熔断机制有效性
- 复盘：每次漂移事件后更新基线和阈值，形成防御性迭代
常见误区
⚠️ 常见踩坑
用传统 APM 的 5xx 阈值告警覆盖 AI 故障（漂移是渐进式的，错误率不会突变）；全量输出人工审核（成本不可行，应统计采样+低置信度路由）；熔断阈值设太紧导致频繁误报（应从宽松基线逐步收紧）。
追问
追问 1：如何区分「正常业务波动」和「模型漂移」？PSI 阈值如何根据业务场景调整？
用分层阈值：P0 场景（资金/合规）用严格阈值（PSI>0.1），P2 场景（闲聊）用宽松阈值（PSI>0.3）。同时结合时间窗口（连续 3 天超基线才告警）和业务指标（转化率是否同步下降）交叉验证，排除正常季节性波动。
追问 2：多 Agent 系统中，如何定位漂移传播链的源头 Agent？
用分布式 Trace（类似 OpenTelemetry）记录每个 Agent 的输入/输出/工具调用，构建 DAG 依赖图。当下游 Agent 质量下降时，沿 Trace 回溯找到最早出现异常的节点。Langfuse 的 Span 模型可直接复用，关键是每个 Agent 调用需携带 parentTraceId 以串联完整链路。
扩展资源
PagerDuty 高管警告：AI Agent 故障风险与 $7250 亿资本支出缺口 — 理解运维侧的核心关切
Google SRE for ML：ML 系统的监控框架（ML Metadata / ML Performance monitoring）— 从传统 SRE 到 AI SRE 的演进
Langfuse / LangSmith 文档：LLM 可观测性的 Tracing 模型和评测集成 — 工具层落地参考
没找到想看的面试题？把你想看的告诉我们 →
延伸学习
按主题分类的相关资源，便于系统复习
