DeepEval

OpenAI 官方的 LLM 评估框架和基准测试开源注册表，提供标准化的评估流程和丰富的基准数据集，是 LLM 能力评测的行业标准工具，覆盖推理、指令遵循、安全性等多维度评估

🎯LLM 能力评测与基准测试、模型迭代效果验证、AI 安全性评估

开源 LLM Agent 评估与测试库，5K+ stars。覆盖 Agent 评估、AI 红队测试、公平性检测等能力，是 LLM 安全评测的重要工具

🎯LLM/Agent 上线前的安全评估、红队测试、偏见检测、合规性审计

开源 LLMOps 平台，4.1K+ stars。集合 Prompt Playground、Prompt 管理、LLM 评估和可观测性于一体，支持 LLM-as-a-Judge 评估、RAG 评估和多模型对比，是 LLM 应用开发的质量保障基础设施

🎯LLM 应用开发与质量保障

一站式多模态评估工具包，覆盖文本、图像、视频和音频任务的统一评测。支持主流多模态模型的基准测试和性能对比，是 ML 研发的质量保障基础设施。4.2K+ stars

🎯多模态模型评测与 benchmark、ML 模型质量保障

LLM 评测平台，支持 Llama3、Mistral、GPT-4 等 220+ 大模型的全面评估，80+ 评测基准，是学术界和工业界广泛使用的评测工具

🎯对 LLM 进行全面、客观的性能评估

非线智能中文大模型能力评测：覆盖 374+ 大模型，包括 ChatGPT、Claude、Gemini、文心一言等持续排名

🎯对比和追踪主流中文/多语言大模型的能力排名