Prometheus

开源监控告警平台，定位为「告警和监控领域的 Grafana」。支持多数据源接入、灵活的告警规则和通知策略，适合需要统一监控告警平台的 AI/MLOps 团队。

🎯AI 模型性能告警、训练任务异常通知、多集群统一监控

开源可观测性和数据可视化平台。支持可视化指标、日志、追踪等多源数据，兼容 Prometheus、Loki、Elasticsearch、InfluxDB 等后端。是 MLOps 团队监控模型和基础设施的首选仪表盘工具。

🎯MLOps 模型监控仪表盘、AI 服务指标可视化、训练任务实时追踪

LLM 应用评估框架，提供 RAG 管道的自动化评测能力，支持答案相关性、上下文忠实度、幻觉检测等关键指标，帮助开发者量化和优化 LLM 应用质量。（14K+ stars）

🎯LLM 应用质量评估、RAG 管道评测、AI 产品验收测试

开源 AIOps 和告警管理平台。通过 AI 驱动的事件关联和根因分析，帮助运维团队减少告警疲劳。支持整合多种监控工具（Prometheus、Datadog、PagerDuty 等）的告警到统一平台。

🎯AI 服务多源告警聚合、自动告警降噪、AIOps 工作流自动化

面向开发者的自动化状态页工具，支持 HTTP/TCP/ICMP 等多种健康检查，内置告警和事件管理。轻量级设计，适合小团队监控 AI 服务和 API 的可用性。

🎯AI API 端点健康检查、模型推理服务可用性监控、对外服务状态页

高吞吐 LLM 推理引擎，77,418+ stars。采用 PagedAttention 显存优化技术，吞吐量比 HuggingFace Transformers 高 24 倍，是生产环境部署大模型推理的首选方案，支持 OpenAI 兼容 API

🎯生产环境模型推理服务