Promptfoo
LLM 安全测试和红队评估工具，支持 prompt injection 检测、数据泄漏测试、输出评估，10,000+ stars
🎯适用场景：AI 安全与合规防护
📊 仓库数据
📈 Stars 变化 ↑6 小时 +11· 统计区间 6/28 18:12 → 6/29 00:15（6 小时）
✅ 优点
- •LLM 安全测试工具
- •红队测试自动化
- •支持多模型对比
⚠️ 限制
- •配置较复杂
- •社区较小
- •文档不够详细
🔗 相关工具
AI Infra Guard
github.com/Tencent/AI-Infra-Guard
全栈 AI 红队测试平台，3.7K+ stars。腾讯安全出品，覆盖 OpenClaw 安全扫描、Agent 扫描、Skills 扫描、MCP 扫描、AI 基础设施扫描和 LLM 越狱评估，是 AI 安全领域的综合性红队工具
🎯MCP 工具协议集成、AI 安全与合规防护
DeepTeam
github.com/confident-ai/deepteam
LLM 和 AI Agent 红队测试框架，自动化对 AI 系统进行安全攻击测试和风险发现
🎯对 LLM 和 AI Agent 系统进行红队安全测试，发现潜在漏洞
CrabTrap
github.com/brexhq/CrabTrap
Brex 出品的 LLM-as-a-Judge HTTP 代理，专为生产环境 AI Agent 安全设计。CrabTrap 以反向代理形式部署在 Agent 与 LLM API 之间，利用另一个 LLM 作为「法官」实时审查 Agent 的请求和响应，拦截越权操作、Prompt 注入、数据泄露和有害输出。Go 语言实现，性能优异，可直接集成到任何 LLM 调用链中。在 Agent 安全从「测试时评估」走向「运行时防护」的趋势下，CrabTrap 代表了生产级 Agent 安全的新范式。
🎯AI 安全与合规防护
Front-End Checklist
github.com/thedaviddias/Front-End-Checklist
现代 Web 开发必备清单，72.8K+ stars。涵盖 HTML、CSS、JavaScript、性能、安全、可访问性等方方面面。已被众多 AI Agent 用作代码审查参考标准
🎯前端开发质量检查、AI 代码审查参考
shannon
github.com/KeygraphHQ/shannon
自主白盒 AI 渗透测试工具，分析源代码、识别攻击向量并执行真实漏洞验证，在上线前发现安全风险。
🎯Web 应用和 API 上线前的自动化安全审计和渗透测试
CL4R1T4S
github.com/elder-plinius/CL4R1T4S
开源 AI 系统提示词透明度项目，收集并公开 ChatGPT、Claude、Gemini、Grok 等主流 AI 模型的核心系统提示词，帮助开发者理解大模型的底层行为逻辑。（26K+ stars）
🎯大模型行为研究、Prompt 工程参考、AI 安全性分析、提示词优化学习