安全今天·微软 AI Red Team + RedmondMag

微软开源 RAMPART 和 Clarity:将 AI Agent 安全测试移入 CI 流水线

微软 AI 红队团队开源两款 Agent 安全工具:RAMPART 是持续安全测试框架,可检测提示词注入和数据泄露;Clarity 是结构化设计审查工具,在编码前压力测试设计假设。两者已在微软内部经过实战检验。

微软正在推动 AI Agent 安全从「事后审计」走向「开发即安全」。

RAMPART 框架:

  • 基于 PyRIT 构建,用于在 CI 流水线中运行对抗性和良性安全场景
  • 将红队发现转化为可重复的回归测试
  • 可检测跨提示词注入、数据外泄和回归漏洞
  • 当向 Agent 添加工具或数据源时,可在同一 PR 中添加对应安全测试

Clarity 设计审查:

  • 帮助工程团队在编写代码前审查设计假设
  • 结构化地探索团队是否在构建「正确的东西」
  • 作为设计阶段的「共鸣板」使用

背景与来源:

  • 来自微软 AI 红队团队,该团队负责在内部压力测试微软自有 AI 系统
  • 两款工具均已通过微软工程师内部实战检验
  • 微软同时邀请企业部署合作伙伴关系

行业意义:

  • 这是首次将安全测试工具从「事后红队」前移到「开发过程中」
  • PyRIT 主要用于构建后黑盒发现,RAMPART 则服务于开发中的工程师
  • 随着 Agent 大规模进入生产,安全左移成为行业共识

来源: Microsoft AI Red Team + RedmondMag + DevOps.com
链接: https://www.helpnetsecurity.com/2026/05/21/microsoft-open-sources-tools-for-designing-and-testing-ai-agents