AgentOps
AI 智能体监控和 LLM 成本追踪工具，支持性能基准测试和日志记录，集成 CrewAI、Agno、OpenAI Agents SDK、LangChain、AutoGen 等主流框架，提供可视化仪表盘和成本分析功能
🎯适用场景：AI Agent 监控、LLM 成本追踪和性能评估
📥 收录于 2026/5/31
📊 仓库数据
📈 上次抓取以来 ↑+2 ⭐
✅ 优点
- •支持几乎所有主流 LLM 和 Agent 框架
- •开源，社区活跃
⚠️ 限制
- •仅 Python SDK，其他语言需自行实现
- •文档以英文为主
🔗 相关工具
Grafana
github.com/grafana/grafana
开源可观测性和数据可视化平台。支持可视化指标、日志、追踪等多源数据，兼容 Prometheus、Loki、Elasticsearch、InfluxDB 等后端。是 MLOps 团队监控模型和基础设施的首选仪表盘工具。
🎯MLOps 模型监控仪表盘、AI 服务指标可视化、训练任务实时追踪
Nightingale
github.com/ccfos/nightingale
开源监控告警平台，定位为「告警和监控领域的 Grafana」。支持多数据源接入、灵活的告警规则和通知策略，适合需要统一监控告警平台的 AI/MLOps 团队。
🎯AI 模型性能告警、训练任务异常通知、多集群统一监控
TensorZero
github.com/tensorzero/tensorzero
开源 LLMOps 平台，统一 LLM 网关、可观测性、评估和微调能力，提供从实验到生产的端到端基础设施，帮助企业高效管理多模型 LLM 应用。（11K+ stars）
🎯LLM 生产环境管理、多模型路由、A/B 测试和效果评估
HyperDX
github.com/hyperdxio/hyperdx
开源可观测性平台，统一整合日志、指标、追踪、会话回放和错误追踪。基于 OpenTelemetry 标准，适合需要全栈可观测性的 AI 应用团队，一站式排查线上问题。
🎯AI 应用全栈可观测性、用户会话回放辅助调试、日志与追踪关联分析
Langtrace
github.com/Scale3-Labs/langtrace
基于 OpenTelemetry 的 LLM 应用端到端可观测性工具。提供实时追踪、评估和指标，支持主流 LLM/框架/向量数据库。TypeScript/Python 双语言集成
🎯LLM 应用可观测性与调试评估
vLLM
github.com/vllm-project/vllm
高吞吐 LLM 推理引擎，77,418+ stars。采用 PagedAttention 显存优化技术，吞吐量比 HuggingFace Transformers 高 24 倍，是生产环境部署大模型推理的首选方案，支持 OpenAI 兼容 API
🎯生产环境模型推理服务