LangWatch
LLM 评测和 AI Agent 测试平台，提供全面的评测工具链，保障 AI 应用上线质量
🎯适用场景：LLM 应用评测和 AI Agent 测试平台，保障上线质量
📥 收录于 2026/6/6
📊 仓库数据
📈 Stars 变化 ↑18 小时 +3· 统计区间 7/20 20:02 → 7/21 13:41（18 小时）
✅ 优点
- •专注 LLM 评测的专业平台
- •支持多种评测指标
- •可视化的评测仪表盘
⚠️ 限制
- •项目较新，功能仍在扩展
- •学习曲线存在
🔗 相关工具
Agenta
github.com/Agenta-AI/agenta
开源 LLMOps 平台，4.1K+ stars。集合 Prompt Playground、Prompt 管理、LLM 评估和可观测性于一体，支持 LLM-as-a-Judge 评估、RAG 评估和多模型对比，是 LLM 应用开发的质量保障基础设施
🎯LLM 应用开发与质量保障
Prompty
github.com/microsoft/prompty
微软开源的 LLM 提示词管理工具，支持创建、调试、评估和管理 AI 应用的提示词。
🎯AI 应用开发中的提示词管理和调试
OpenAI Evals
github.com/openai/evals
OpenAI 官方的 LLM 评估框架和基准测试开源注册表，提供标准化的评估流程和丰富的基准数据集，是 LLM 能力评测的行业标准工具，覆盖推理、指令遵循、安全性等多维度评估
🎯LLM 能力评测与基准测试、模型迭代效果验证、AI 安全性评估
DeepEval
github.com/confident-ai/deepeval
LLM 评估框架，15K+ stars。提供全面的 LLM 评估指标和测试框架，支持 RAG 评估、幻觉检测、毒性检测等，是 LLM 应用质量保证的标准工具
🎯LLM 应用上线前的自动化质量评测与 RAG 效果验证
OpenCompass
github.com/open-compass/opencompass
LLM 评测平台，支持 Llama3、Mistral、GPT-4 等 220+ 大模型的全面评估，80+ 评测基准，是学术界和工业界广泛使用的评测工具
🎯对 LLM 进行全面、客观的性能评估
中文 LLM 能力评测
github.com/jeinlee1991/chinese-llm-benchmark
非线智能中文大模型能力评测：覆盖 374+ 大模型，包括 ChatGPT、Claude、Gemini、文心一言等持续排名
🎯对比和追踪主流中文/多语言大模型的能力排名
