核心要点

  • 能按风险分级设置介入点:高风险/不可逆动作(转账、删库、发外部邮件)执行前强制人工审批

  • 能用置信度路由:模型置信度低或证据不足时转人工,高置信走自动,平衡效率与安全

  • 能设计可中断的执行:用状态图/断点(如 LangGraph interrupt)让流程在关键节点暂停,等人确认后续跑

  • 能让反馈回流:人审的修正与决策沉淀为数据,用于评测、改 prompt微调,形成改进闭环

标准回答

何处介入:按风险分级

不是所有步骤都要人审。对不可逆、高代价、对外可见的动作(资金操作、删除数据、对外发送、生产变更)在执行前插入审批;只读/可回滚动作可全自动。

如何路由:置信度驱动

结合模型自评置信度、校验器结果、关键字段缺失等信号决定是否转人工:低置信或高风险走人工,其余自动放行,避免无差别人审拖垮效率。

如何介入:可中断流程

用状态图/工作流引擎把 Agent 设计成可在节点暂停的形态(如 LangGraph 的 interrupt/checkpoint),暂停时把待办动作放入审批队列,人工 approve/reject/edit 后从断点恢复;设置审批超时与默认策略防止无限阻塞。

闭环:反馈回流

记录每次人工决策与修正(audit trail),用于离线评测、优化提示词与工具、必要时微调,逐步把可自动化的部分交还给 Agent。

常见误区

⚠️ 常见踩坑

要么对所有步骤都加人审拖垮吞吐,要么对高风险不可逆动作完全放任自动——正确做法是按风险分级、用置信度路由,只在关键节点拦截;同时别忘记审批超时与人审反馈回流。

追问

追问 1怎么决定哪些动作需要人审?

按"可逆性 × 影响面 × 置信度"分级:不可逆且影响大的动作(转账、删数据、对外发送)默认强制审批;可回滚或只读动作自动执行。再叠加置信度信号——校验失败、关键参数缺失、模型自评低时升级为人审。规则可随线上数据动态调整。

追问 2断点等待人工时如何保存上下文?

题库专题:多轮 Agent 的状态与会话如何管理?

用支持持久化的状态图/工作流引擎,在 interrupt 处把完整状态(对话历史、scratchpad、待执行动作、会话 id)写入存储;人工处理可能延迟数分钟到数天,恢复时按 id 加载状态从断点继续。配合超时与幂等,保证长时间挂起也不丢上下文、不重复执行。

延伸学习

与本题相关的知识库文章、术语、工具与行业资讯。