trulens
LLM 评估和追踪框架，帮助开发者系统性地评估大语言模型和 Agent 的性能、安全性和可靠性，支持多种评估指标。
🎯适用场景：评估和监控生产环境中 LLM 和 Agent 的输出质量
📥 收录于 2026/6/3
📊 仓库数据
✅ 优点
- •支持多种评估维度
- •与主流 Agent 框架集成
- •开源免费
⚠️ 限制
- •配置较为复杂
- •大规模评估性能有限
- •文档不够完善
🔗 相关工具
Latitude Llm
github.com/latitude-dev/latitude-llm
开源 Agent 工程平台，提供 Agent 监控、可观测性、错误追踪等全链路管理能力，帮助团队构建和生产级 AI 应用。
🎯构建和生产级 AI Agent 应用的全链路管理
Netdata
github.com/netdata/netdata
AI 全栈可观测性平台，78,515+ stars。实时监控服务器性能、应用指标和网络流量，内置 AI 异常检测引擎，自动发现并预警系统问题。零配置、开箱即用，每秒采集数千指标，是最轻量的基础设施监控方案。
🎯服务器与基础设施实时监控、AI 异常检测预警
Sentry
github.com/getsentry/sentry
应用错误追踪与性能监控平台，可用于 AI 产品的线上异常定位、接口错误聚合、性能退化排查和发布质量追踪。
🎯AI 应用上线后需要追踪异常、接口失败、前端崩溃和性能回归。
Nightingale
github.com/ccfos/nightingale
开源监控告警平台，定位为「告警和监控领域的 Grafana」。支持多数据源接入、灵活的告警规则和通知策略，适合需要统一监控告警平台的 AI/MLOps 团队。
🎯AI 模型性能告警、训练任务异常通知、多集群统一监控
TensorZero
github.com/tensorzero/tensorzero
开源 LLMOps 平台，统一 LLM 网关、可观测性、评估和微调能力，提供从实验到生产的端到端基础设施，帮助企业高效管理多模型 LLM 应用。（11K+ stars）
🎯LLM 生产环境管理、多模型路由、A/B 测试和效果评估
Phoenix
github.com/arize-ai/phoenix
AI 可观测性与评估平台，9750 stars。提供 LLM 应用的可观测性、评估和调试能力，帮助监控 AI 系统性能
🎯LLM/RAG 链路追踪、Embedding 质量评估、生产监控
