Giskard OSS

开源推理 & 运维 › 评测与基准5.8k↑+6

开源 LLM Agent 评估与测试库，5K+ stars。覆盖 Agent 评估、AI 红队测试、公平性检测等能力，是 LLM 安全评测的重要工具

🎯适用场景：LLM/Agent 上线前的安全评估、红队测试、偏见检测、合规性审计

#LLM 评估#红队测试#AI 安全#Agent 评测

📥 收录于 2026/5/23

访问工具

📊 仓库数据

Stars5,765

Forks522

语言Python

更新2026/8/23

📈 Stars 变化 ↑3 天 +6· 统计区间 8/21 13:15 → 8/24 03:32（3 天）

✅ 优点

•覆盖全面的 LLM 评估能力，包括安全性、公平性、鲁棒性
•开源免费，可集成到 CI/CD 流程自动化检测

⚠️ 限制

•开源版功能有限，完整能力需使用付费企业版
•配置和使用有一定学习成本

🔗 相关工具

OpenAI Evals

开源19k↑+19

github.com/openai/evals

OpenAI 官方的 LLM 评估框架和基准测试开源注册表，提供标准化的评估流程和丰富的基准数据集，是 LLM 能力评测的行业标准工具，覆盖推理、指令遵循、安全性等多维度评估

🎯LLM 能力评测与基准测试、模型迭代效果验证、AI 安全性评估

#LLM 评估#基准测试#OpenAI#评测框架

DeepEval

开源18k↑+58

github.com/confident-ai/deepeval

LLM 评估框架，15K+ stars。提供全面的 LLM 评估指标和测试框架，支持 RAG 评估、幻觉检测、毒性检测等，是 LLM 应用质量保证的标准工具

🎯LLM 应用上线前的自动化质量评测与 RAG 效果验证

#LLM 评估#RAG 评估#幻觉检测#测试框架

Agenta

开源4.5k↑+17

github.com/Agenta-AI/agenta

开源 LLMOps 平台，4.1K+ stars。集合 Prompt Playground、Prompt 管理、LLM 评估和可观测性于一体，支持 LLM-as-a-Judge 评估、RAG 评估和多模型对比，是 LLM 应用开发的质量保障基础设施

🎯LLM 应用开发与质量保障

#LLMOps#Prompt 管理#LLM 评估#可观测性

Lmms Eval

开源4.4k↑+2

github.com/evolvinglmms-lab/lmms-eval

一站式多模态评估工具包，覆盖文本、图像、视频和音频任务的统一评测。支持主流多模态模型的基准测试和性能对比，是 ML 研发的质量保障基础设施。4.2K+ stars

🎯多模态模型评测与 benchmark、ML 模型质量保障

#多模态评估#基准测试#ML 评测#LLM 评估

Bloom

开源1.4k

github.com/safety-research/bloom

Anthropic 开源的自动化行为评估框架，通过多代理编排生成评估场景并评分 LLM 的偏见、自我保护、政治倾向等行为。支持大规模并行评估。

🎯自动化评估 LLM 的特定行为（偏见、自我保护等），降低 AI 安全评估成本

#AI 安全#行为评估#多代理#Anthropic

OpenCompass

开源7.3k↑+8

github.com/open-compass/opencompass

LLM 评测平台，支持 Llama3、Mistral、GPT-4 等 220+ 大模型的全面评估，80+ 评测基准，是学术界和工业界广泛使用的评测工具

🎯对 LLM 进行全面、客观的性能评估