Giskard OSS
开源 LLM Agent 评估与测试库，5K+ stars。覆盖 Agent 评估、AI 红队测试、公平性检测等能力，是 LLM 安全评测的重要工具
🎯适用场景：LLM/Agent 上线前的安全评估、红队测试、偏见检测、合规性审计
📊 仓库数据
✅ 优点
- •覆盖全面的 LLM 评估能力，包括安全性、公平性、鲁棒性
- •开源免费，可集成到 CI/CD 流程自动化检测
⚠️ 限制
- •开源版功能有限，完整能力需使用付费企业版
- •配置和使用有一定学习成本
🔗 相关工具
AI Infra Guard
开源⭐ 3.8kgithub.com/Tencent/AI-Infra-Guard
全栈 AI 红队测试平台，3.7K+ stars。腾讯安全出品，覆盖 OpenClaw 安全扫描、Agent 扫描、Skills 扫描、MCP 扫描、AI 基础设施扫描和 LLM 越狱评估，是 AI 安全领域的综合性红队工具
🎯 MCP 工具协议集成、AI 安全与合规防护
Promptfoo
开源⭐ 22k↑+11github.com/promptfoo/promptfoo
LLM 安全测试和红队评估工具，支持 prompt injection 检测、数据泄漏测试、输出评估，10,000+ stars
🎯 AI 安全与合规防护
PromptBench
开源⭐ 2.8kgithub.com/microsoft/promptbench
微软大语言模型评估工具，支持对抗性 prompt 测试、鲁棒性评估、多模型对比，4,000+ stars
🎯 Prompt 鲁棒性评测、对抗性测试与多模型对比
UQLM
开源⭐ 1.2kgithub.com/cvs-health/uqlm
CVS Health 出品的 LLM 幻觉检测工具，1200+ stars。基于不确定性量化的语言模型幻觉检测 Python 包，提供置信度评分和幻觉缓解策略，是 AI 安全与合规的重要工具
🎯 LLM 输出可靠性检测，AI 安全合规审计，模型评估
vLLM
开源⭐ 81k↑+15github.com/vllm-project/vllm
高吞吐 LLM 推理引擎，77,418+ stars。采用 PagedAttention 显存优化技术，吞吐量比 HuggingFace Transformers 高 24 倍，是生产环境部署大模型推理的首选方案，支持 OpenAI 兼容 API
🎯 生产环境模型推理服务
Netdata
开源⭐ 79k↑+1github.com/netdata/netdata
AI 全栈可观测性平台，78,515+ stars。实时监控服务器性能、应用指标和网络流量，内置 AI 异常检测引擎，自动发现并预警系统问题。零配置、开箱即用，每秒采集数千指标，是最轻量的基础设施监控方案。
🎯 服务器与基础设施实时监控、AI 异常检测预警