Grafana

开源监控告警平台，定位为「告警和监控领域的 Grafana」。支持多数据源接入、灵活的告警规则和通知策略，适合需要统一监控告警平台的 AI/MLOps 团队。

🎯AI 模型性能告警、训练任务异常通知、多集群统一监控

开源监控系统和时序数据库，CNCF 毕业项目。采用多维数据模型和 PromQL 查询语言，是云原生和 AI 基础设施监控的事实标准，可与 Grafana 无缝集成。

🎯AI 服务 GPU 使用率监控、模型推理延迟追踪、Kubernetes 集群资源监控

LLM 应用评估框架，提供 RAG 管道的自动化评测能力，支持答案相关性、上下文忠实度、幻觉检测等关键指标，帮助开发者量化和优化 LLM 应用质量。（14K+ stars）

🎯LLM 应用质量评估、RAG 管道评测、AI 产品验收测试

开源 LLMOps 平台，统一 LLM 网关、可观测性、评估和微调能力，提供从实验到生产的端到端基础设施，帮助企业高效管理多模型 LLM 应用。（11K+ stars）

🎯LLM 生产环境管理、多模型路由、A/B 测试和效果评估

面向开发者的自动化状态页工具，支持 HTTP/TCP/ICMP 等多种健康检查，内置告警和事件管理。轻量级设计，适合小团队监控 AI 服务和 API 的可用性。

🎯AI API 端点健康检查、模型推理服务可用性监控、对外服务状态页

开源可观测性平台，统一整合日志、指标、追踪、会话回放和错误追踪。基于 OpenTelemetry 标准，适合需要全栈可观测性的 AI 应用团队，一站式排查线上问题。

🎯AI 应用全栈可观测性、用户会话回放辅助调试、日志与追踪关联分析