OpenCompass
LLM 评测平台，支持 Llama3、Mistral、GPT-4 等 220+ 大模型的全面评估，80+ 评测基准，是学术界和工业界广泛使用的评测工具
🎯适用场景：对 LLM 进行全面、客观的性能评估
📥 收录于 2026/6/11
📊 仓库数据
📈 Stars 变化 ↑6 小时 +2· 统计区间 6/17 06:02 → 6/17 12:04（6 小时）
✅ 优点
- •220+ 模型支持
- •80+ 评测基准
- •权威评测
⚠️ 限制
- •评测耗时
- •需要大量计算资源
🔗 相关工具
OpenAI Evals
github.com/openai/evals
OpenAI 官方的 LLM 评估框架和基准测试开源注册表，提供标准化的评估流程和丰富的基准数据集，是 LLM 能力评测的行业标准工具，覆盖推理、指令遵循、安全性等多维度评估
🎯LLM 能力评测与基准测试、模型迭代效果验证、AI 安全性评估
中文 LLM 能力评测
github.com/jeinlee1991/chinese-llm-benchmark
非线智能中文大模型能力评测：覆盖 374+ 大模型，包括 ChatGPT、Claude、Gemini、文心一言等持续排名
🎯对比和追踪主流中文/多语言大模型的能力排名
Lmms Eval
github.com/evolvinglmms-lab/lmms-eval
一站式多模态评估工具包，覆盖文本、图像、视频和音频任务的统一评测。支持主流多模态模型的基准测试和性能对比，是 ML 研发的质量保障基础设施。4.2K+ stars
🎯多模态模型评测与 benchmark、ML 模型质量保障
mteb
github.com/embeddings-benchmark/mteb
大规模文本嵌入模型基准测试套件，覆盖信息检索、聚类、双语文本挖掘等多个 NLP 任务，是评估嵌入模型质量的标准工具。
🎯评估和比较不同嵌入模型在多种 NLP 任务上的表现
DeepEval
github.com/confident-ai/deepeval
LLM 评估框架，15K+ stars。提供全面的 LLM 评估指标和测试框架，支持 RAG 评估、幻觉检测、毒性检测等，是 LLM 应用质量保证的标准工具
🎯LLM 应用上线前的自动化质量评测与 RAG 效果验证
Cleanlab
github.com/cleanlab/cleanlab
开源数据质量中心 AI 库，用于数据标注、噪声标签检测、异常值检测和机器学习数据质量改进的标准工具包。
🎯检测和修复机器学习训练数据中的标签错误和异常值