DeepEval
LLM 评估框架，15K+ stars。提供全面的 LLM 评估指标和测试框架，支持 RAG 评估、幻觉检测、毒性检测等，是 LLM 应用质量保证的标准工具
🎯适用场景：LLM 应用上线前的自动化质量评测与 RAG 效果验证
📥 收录于 2026/5/27
📊 仓库数据
✅ 优点
- •内置 RAG/幻觉/毒性等多类评估指标
- •可集成 pytest CI 做回归评测
- •Python API 简洁，上手快
- •15K+ stars 社区案例多
⚠️ 限制
- •LLM-as-Judge 成本需自行控制
- •复杂业务场景需自定义 metric
- •与生产监控体系需额外对接
- •评判模型选择影响结果稳定性
🔗 相关工具
Giskard OSS
github.com/Giskard-AI/giskard-oss
开源 LLM Agent 评估与测试库，5K+ stars。覆盖 Agent 评估、AI 红队测试、公平性检测等能力，是 LLM 安全评测的重要工具
🎯LLM/Agent 上线前的安全评估、红队测试、偏见检测、合规性审计
Agenta
github.com/Agenta-AI/agenta
开源 LLMOps 平台，4.1K+ stars。集合 Prompt Playground、Prompt 管理、LLM 评估和可观测性于一体，支持 LLM-as-a-Judge 评估、RAG 评估和多模型对比，是 LLM 应用开发的质量保障基础设施
🎯LLM 应用开发与质量保障
PromptBench
github.com/microsoft/promptbench
微软大语言模型评估工具，支持对抗性 prompt 测试、鲁棒性评估、多模型对比，4,000+ stars
🎯Prompt 鲁棒性评测、对抗性测试与多模型对比
UQLM
github.com/cvs-health/uqlm
CVS Health 出品的 LLM 幻觉检测工具，1200+ stars。基于不确定性量化的语言模型幻觉检测 Python 包，提供置信度评分和幻觉缓解策略，是 AI 安全与合规的重要工具
🎯LLM 输出可靠性检测，AI 安全合规审计，模型评估
vLLM
github.com/vllm-project/vllm
高吞吐 LLM 推理引擎，77,418+ stars。采用 PagedAttention 显存优化技术，吞吐量比 HuggingFace Transformers 高 24 倍，是生产环境部署大模型推理的首选方案，支持 OpenAI 兼容 API
🎯生产环境模型推理服务
Netdata
github.com/netdata/netdata
AI 全栈可观测性平台，78,515+ stars。实时监控服务器性能、应用指标和网络流量，内置 AI 异常检测引擎，自动发现并预警系统问题。零配置、开箱即用，每秒采集数千指标，是最轻量的基础设施监控方案。
🎯服务器与基础设施实时监控、AI 异常检测预警