TensorZero
开源 LLMOps 平台,统一 LLM 网关、可观测性、评估和微调能力,提供从实验到生产的端到端基础设施,帮助企业高效管理多模型 LLM 应用。(11K+ stars)
🎯适用场景:LLM 生产环境管理、多模型路由、A/B 测试和效果评估
📥 收录于 2026/5/24
📊 仓库数据
✅ 优点
- •Rust 编写,高性能低延迟
- •网关+观测+评估一体化
- •支持模型微调和持续优化
⚠️ 限制
- •相对较新,社区生态仍在成长中
- •高级功能需要自建基础设施
🔗 相关工具
Netdata
github.com/netdata/netdata
AI 全栈可观测性平台,78,515+ stars。实时监控服务器性能、应用指标和网络流量,内置 AI 异常检测引擎,自动发现并预警系统问题。零配置、开箱即用,每秒采集数千指标,是最轻量的基础设施监控方案。
🎯服务器与基础设施实时监控、AI 异常检测预警
Nightingale
github.com/ccfos/nightingale
开源监控告警平台,定位为「告警和监控领域的 Grafana」。支持多数据源接入、灵活的告警规则和通知策略,适合需要统一监控告警平台的 AI/MLOps 团队。
🎯AI 模型性能告警、训练任务异常通知、多集群统一监控
HyperDX
github.com/hyperdxio/hyperdx
开源可观测性平台,统一整合日志、指标、追踪、会话回放和错误追踪。基于 OpenTelemetry 标准,适合需要全栈可观测性的 AI 应用团队,一站式排查线上问题。
🎯AI 应用全栈可观测性、用户会话回放辅助调试、日志与追踪关联分析
Laminar
github.com/lmnr-ai/lmnr
YC S24 孵化的 AI Agent 可观测性平台——专为 AI Agent 设计的开源观测和分析工具,支持 LLM 评估、Agent 追踪和自托管部署,是 Agent 可观测性领域的新星。
🎯AI Agent 可观测性、LLM 评估追踪和自托管部署
Langtrace
github.com/Scale3-Labs/langtrace
基于 OpenTelemetry 的 LLM 应用端到端可观测性工具。提供实时追踪、评估和指标,支持主流 LLM/框架/向量数据库。TypeScript/Python 双语言集成
🎯LLM 应用可观测性与调试评估
Superlog
github.com/superloglabs/superlog
AI 驱动的可观测性工具,833 stars。使用 AI Agent 自动修复软件问题,支持日志分析和故障自愈。
🎯生产环境故障自动诊断和修复
