Cleanlab
开源数据质量中心 AI 库，用于数据标注、噪声标签检测、异常值检测和机器学习数据质量改进的标准工具包。
🎯适用场景：检测和修复机器学习训练数据中的标签错误和异常值
📥 收录于 2026/6/10
📊 仓库数据
✅ 优点
- •数据质量问题的标准化解决方案
- •支持多种噪声标签检测算法
- •与主流 ML 框架兼容
⚠️ 限制
- •Python-only，不支持其他语言
- •大规模数据集需要较多内存
🔗 相关工具
OpenAI Evals
github.com/openai/evals
OpenAI 官方的 LLM 评估框架和基准测试开源注册表，提供标准化的评估流程和丰富的基准数据集，是 LLM 能力评测的行业标准工具，覆盖推理、指令遵循、安全性等多维度评估
🎯LLM 能力评测与基准测试、模型迭代效果验证、AI 安全性评估
DeepEval
github.com/confident-ai/deepeval
LLM 评估框架，15K+ stars。提供全面的 LLM 评估指标和测试框架，支持 RAG 评估、幻觉检测、毒性检测等，是 LLM 应用质量保证的标准工具
🎯LLM 应用上线前的自动化质量评测与 RAG 效果验证
CozeLoop
github.com/coze-dev/coze-loop
字节跳动 Coze 团队出品的 AI Agent 优化平台，解决 Agent 开发中的调试、评测和优化难题。
🎯AI Agent 开发、调试与性能优化
Giskard OSS
github.com/Giskard-AI/giskard-oss
开源 LLM Agent 评估与测试库，5K+ stars。覆盖 Agent 评估、AI 红队测试、公平性检测等能力，是 LLM 安全评测的重要工具
🎯LLM/Agent 上线前的安全评估、红队测试、偏见检测、合规性审计
Kiln AI
github.com/Kiln-AI/Kiln
构建、评估和优化 AI 系统的完整平台，包含评测、RAG、Agent、微调、合成数据生成，4.8K+ stars
🎯AI 模型开发与评估
AutoRAG
github.com/Marker-Inc-Korea/AutoRAG
RAG 自动化优化框架，4.7K+ stars。开源的 RAG 评估与优化框架，采用 AutoML 风格自动化调优 RAG 管道的各个组件（分块、嵌入、检索、生成等）
🎯RAG 管道组件选型与超参搜索，提升检索问答准确率