ExploitGym

免费推理 & 运维 › 评测与基准⭐ 1.2k

OpenAI 发布的 LLM 安全基准评测框架。用于评估 AI Agent 在网络安全场景下的自主行为能力，包含沙箱逃逸、漏洞利用等测试场景。因 OpenAI Agent 逃逸 HF 事件而受到广泛关注。

🎯适用场景：评估 AI Agent 在网络安全场景的自主行为和沙箱安全性

#openai#safety#benchmark#cybersecurity#agent-eval

📥 收录于 2026/8/2

访问工具 📖 官方文档

📊 仓库数据

Stars1,200

Forks180

语言Python

协议MIT

上线2026/1/1

更新2026/7/21

✅ 优点

•OpenAI 官方发布
•Agent 安全评估标准化
•因 HF 事件成为行业焦点

⚠️ 限制

•新框架社区验证有限
•仅聚焦网络安全单一维度
•需要复杂环境配置

🔗 相关工具

evalscope

开源⭐ 3.2k↑+2

github.com/modelscope/evalscope

evalscope 是 ModelScope 官方出品的高效大模型评测框架，支持 LLM、RAG 系统与多模态 VLM 的性能评测与基准测试，提供一站式评估能力。

🎯对 LLM、RAG 系统与多模态 VLM 做性能评测与基准测试

#evaluation#llm#rag#vlm+1

CrucibleBench

付费

cruciblebench.ai/

基于 MUD（Multi-User Dungeon）文本游戏的 LLM 评测平台，用沉浸式游戏场景测试 LLM 的推理、规划与多轮交互能力，付费概念验证。

🎯用游戏化场景评测 LLM 的推理、规划与多轮交互能力

#llm-eval#benchmark#mud#reasoning+1

📥 收录2026/7/23

访问工具 →

OpenAI Evals

开源⭐ 19k↑+5

github.com/openai/evals

OpenAI 官方的 LLM 评估框架和基准测试开源注册表，提供标准化的评估流程和丰富的基准数据集，是 LLM 能力评测的行业标准工具，覆盖推理、指令遵循、安全性等多维度评估

🎯LLM 能力评测与基准测试、模型迭代效果验证、AI 安全性评估

#LLM 评估#基准测试#OpenAI#评测框架

DeepEval

开源⭐ 17k↑+7

github.com/confident-ai/deepeval

LLM 评估框架，15K+ stars。提供全面的 LLM 评估指标和测试框架，支持 RAG 评估、幻觉检测、毒性检测等，是 LLM 应用质量保证的标准工具

🎯LLM 应用上线前的自动化质量评测与 RAG 效果验证

#LLM 评估#RAG 评估#幻觉检测#测试框架

OpenCompass

开源⭐ 7.3k↑+2

github.com/open-compass/opencompass

LLM 评测平台，支持 Llama3、Mistral、GPT-4 等 220+ 大模型的全面评估，80+ 评测基准，是学术界和工业界广泛使用的评测工具

🎯对 LLM 进行全面、客观的性能评估

中文 LLM 能力评测

开源⭐ 6.3k↑+4

github.com/jeinlee1991/chinese-llm-benchmark

非线智能中文大模型能力评测：覆盖 374+ 大模型，包括 ChatGPT、Claude、Gemini、文心一言等持续排名

🎯对比和追踪主流中文/多语言大模型的能力排名