核心要点
分层监控架构： 能设计分层监控架构：代理层（拦截）→ 检测引擎（规则+分类器+LLM 评判）→ 策略管理 → 审计日志 → 告警响应
输入侧与输出侧差异化： 理解输入侧与输出侧的差异化检测策略：输入侧重注入/越狱/PII，输出侧重幻觉/有害内容/数据泄露
Agent 工具调用监控： 能讲 Agent 工具调用监控的特殊挑战：权限越界、资源滥用、调用链异常
专门工具定位： 了解 Traceforce 等专门工具的定位，以及与传统 APM 的区别
标准回答
一、为什么需要 AI 应用安全监控
传统 APM（应用性能监控）无法覆盖 AI 应用的特殊安全需求：
- 不确定性输出：LLM 的输出是概率性的，传统规则匹配无法覆盖
- 新型攻击面：Prompt 注入、越狱攻击、数据投毒等传统安全工具无法检测
- 合规要求：AI 应用的交互日志需要满足监管审计要求
- Agent 特殊性：Agent 拥有工具调用权限，需要监控其行为边界
二、分层监控架构
企业级 AI 应用安全监控的典型架构：
- 代理层（Proxy Layer）：拦截所有 AI 应用的输入输出，支持同步检测和异步分析
- 检测引擎（Detection Engine）：
- 规则引擎：已知模式匹配（Prompt 注入模板、PII 正则）
- 分类器模型：轻量级安全分类（有害内容检测、注入检测）
- LLM 评判者：用 LLM 评估输出的安全性和合规性
- 策略管理（Policy Management）：定义安全策略、合规规则、告警阈值
- 审计日志（Audit Log）：结构化记录所有交互，支持事后追溯
- 告警与响应（Alert & Response）：实时告警、自动拦截、人工审核工作流
三、输入侧 vs 输出侧
| 维度 | 输入侧监控 | 输出侧监控 |
|---|---|---|
| 检测目标 | Prompt 注入、越狱、PII 泄露尝试 | 幻觉、有害内容、数据泄露、合规违规 |
| 检测方法 | 正则 + 分类器 + 语义相似度 | 分类器 + LLM 评判 + 事实核查 |
| 响应方式 | 拦截请求 + 告警 | 过滤输出 + 降级回复 |
| 延迟要求 | 低延迟（同步拦截） | 可容忍较高延迟（异步检测） |
四、Agent 工具调用监控
Agent 的安全监控比纯 LLM 更复杂：
- 权限控制：每个工具调用有独立的权限边界（参考 Agent 权限管理）
- 调用链追踪：监控 Agent 的完整工具调用链，检测异常模式
- 资源配额：限制单次调用和累计调用的资源消耗
- 沙箱执行：工具调用在独立沙箱中执行，防止影响主系统
五、部署策略
企业部署 AI 应用安全监控的建议：
- 渐进式部署：先监控后拦截，积累数据后再启用自动拦截
- 策略迭代：安全策略需要持续迭代，适应新的攻击模式
- 人工兜底：高风险场景保留人工审核环节
- 合规对齐：安全监控策略与监管要求对齐（GDPR、AI Act 等）
常见误区
⚠️ 常见踩坑
误区一：只靠 system prompt 做安全：提示词层面的安全防护可以被注入绕过，安全监控必须是模型之外、确定性的校验层。
误区二：忽略输出侧：很多团队只关注输入侧（防注入），忽略输出侧（防幻觉/数据泄露）。输入和输出两侧都要做。
误区三：一刀切的拦截策略：不同业务场景的安全等级不同，不应一刀切。低风险场景可以宽松一些，高风险场景（金融、医疗）必须严格。
追问
追问 1：如何平衡安全监控的严格性和用户体验？
平衡策略：1) 分级响应——低风险告警只记录不拦截，高风险才拦截，根据风险等级动态调整；2) 渐进式部署——先监控后拦截，积累数据调整阈值，避免一开始就过于严格影响业务；3) 透明化——被拦截时给用户清晰的解释和申诉渠道，降低用户挫败感；4) A/B 测试——对比不同安全策略对用户体验的影响指标（任务完成率、用户满意度），用数据驱动策略优化。
追问 2：AI 应用安全监控与传统 WAF 有什么区别？
核心区别：1) 语义理解——WAF 基于规则匹配，AI 安全监控需要语义理解（Prompt 注入可以绕过规则匹配）；2) 不确定性处理——WAF 检测确定性攻击，AI 安全监控需要处理 LLM 的概率性不确定性输出；3) 特殊攻击面——WAF 主要保护 Web 应用，AI 安全监控需要理解 LLM/Agent 的特殊攻击面（工具调用越权、数据投毒等）；4) LLM 评判者——AI 安全监控需要 LLM 评判者（用 LLM 检测 LLM 输出的安全性），这是传统 WAF 没有的能力。
🔗 相似问题
同一考点的不同问法，换着练更稳
延伸学习
按主题分类的相关资源，便于系统复习
