phoenix
AI 可观测性与评估平台，9750 stars。提供 LLM 应用的可观测性、评估和调试能力，帮助监控 AI 系统性能
🎯适用场景：LLM/RAG 链路追踪、Embedding 质量评估、生产监控
📥 收录于 2026/5/7
📊 仓库数据
📈 上次抓取以来 ↑+2 ⭐
✅ 优点
- •开源 LLM 可观测性平台
- •Embedding 漂移检测
- •支持 OpenTelemetry 集成
- •Python 一键部署
⚠️ 限制
- •大规模数据存储需规划
- •部分高级分析需 Arize 云服务
- •需要 Python 环境
🔗 相关工具
mlflow
github.com/mlflow/mlflow
开源 AI 工程平台，26K+ stars。面向 Agent、LLM 和 ML 模型的端到端生命周期管理平台，支持实验追踪、模型注册、部署和监控
🎯ML/LLM 实验追踪、模型版本注册与部署、Agent 生命周期管理
RagaAI Catalyst
github.com/raga-ai-hub/ragaai-catalyst
Agent AI 可观测性 SDK，13K+ stars。Python SDK for Agent AI 可观测性、监控和评估框架，包含完整的 Agent 监控方案
🎯LLM 应用可观测性与链路追踪
Helicone
github.com/Helicone/helicone
开源 LLM 可观测性平台，一行代码即可监控、评估和实验。YC W23 孵化，支持 LangChain、LlamaIndex 等主流框架的追踪与成本分析。5.7K+ stars。
🎯LLM 应用可观测性、成本追踪、A/B 实验评估
Logfire
github.com/pydantic/logfire
Pydantic 团队打造的 AI 可观测性平台。面向生产环境 LLM 和 Agent 系统的监控与追踪，支持 FastAPI 原生集成、日志与指标采集。4.2K+ stars。
🎯生产环境 LLM/Agent 监控、Pydantic 生态集成可观测性
Laminar
github.com/lmnr-ai/lmnr
YC S24 孵化的 AI Agent 可观测性平台——专为 AI Agent 设计的开源观测和分析工具，支持 LLM 评估、Agent 追踪和自托管部署，是 Agent 可观测性领域的新星。
🎯AI Agent 可观测性、LLM 评估追踪和自托管部署
OpenLIT
github.com/openlit/openlit
开源 AI 工程平台，OpenTelemetry 原生 LLM 可观测性。支持 GPU 监控、Guardrails、评估、提示管理，集成 50+ LLM 供应商。2.4K+ stars。
🎯AI 工程全栈可观测、GPU 监控、LLM 供应商统一监控