DeepEval
LLM 评估框架，15K+ stars。提供全面的 LLM 评估指标和测试框架，支持 RAG 评估、幻觉检测、毒性检测等，是 LLM 应用质量保证的标准工具
🎯适用场景：LLM 应用上线前的自动化质量评测与 RAG 效果验证
📥 收录于 2026/5/27
📊 仓库数据
📈 Stars 变化 ↑7 小时 +14· 统计区间 6/8 18:13 → 6/9 00:54（7 小时）
✅ 优点
- •内置 RAG/幻觉/毒性等多类评估指标
- •可集成 pytest CI 做回归评测
- •Python API 简洁，上手快
- •15K+ stars 社区案例多
⚠️ 限制
- •LLM-as-Judge 成本需自行控制
- •复杂业务场景需自定义 metric
- •与生产监控体系需额外对接
- •评判模型选择影响结果稳定性
🔗 相关工具
OpenAI Evals
github.com/openai/evals
OpenAI 官方的 LLM 评估框架和基准测试开源注册表，提供标准化的评估流程和丰富的基准数据集，是 LLM 能力评测的行业标准工具，覆盖推理、指令遵循、安全性等多维度评估
🎯LLM 能力评测与基准测试、模型迭代效果验证、AI 安全性评估
Giskard OSS
github.com/Giskard-AI/giskard-oss
开源 LLM Agent 评估与测试库，5K+ stars。覆盖 Agent 评估、AI 红队测试、公平性检测等能力，是 LLM 安全评测的重要工具
🎯LLM/Agent 上线前的安全评估、红队测试、偏见检测、合规性审计
Lmms Eval
github.com/evolvinglmms-lab/lmms-eval
一站式多模态评估工具包，覆盖文本、图像、视频和音频任务的统一评测。支持主流多模态模型的基准测试和性能对比，是 ML 研发的质量保障基础设施。4.2K+ stars
🎯多模态模型评测与 benchmark、ML 模型质量保障
Agenta
github.com/Agenta-AI/agenta
开源 LLMOps 平台，4.1K+ stars。集合 Prompt Playground、Prompt 管理、LLM 评估和可观测性于一体，支持 LLM-as-a-Judge 评估、RAG 评估和多模型对比，是 LLM 应用开发的质量保障基础设施
🎯LLM 应用开发与质量保障
CozeLoop
github.com/coze-dev/coze-loop
字节跳动 Coze 团队出品的 AI Agent 优化平台，解决 Agent 开发中的调试、评测和优化难题。
🎯AI Agent 开发、调试与性能优化
Kiln AI
github.com/Kiln-AI/Kiln
构建、评估和优化 AI 系统的完整平台，包含评测、RAG、Agent、微调、合成数据生成，4.8K+ stars
🎯AI 模型开发与评估