Helicone
开源 LLM 可观测性平台，一行代码即可监控、评估和实验。YC W23 孵化，支持 LangChain、LlamaIndex 等主流框架的追踪与成本分析。5.7K+ stars。
🎯适用场景：LLM 应用可观测性、成本追踪、A/B 实验评估
📥 收录于 2026/6/3
📊 仓库数据
📈 上次抓取以来 ↑+2 ⭐
✅ 优点
- •YC 孵化项目成熟度高
- •一行代码集成
- •实验评估一体化
⚠️ 限制
- •依赖云端服务部署
- •高级功能需付费
🔗 相关工具
langfuse
github.com/langfuse/langfuse
🪢 开源 LLM 工程平台，28K+ stars。提供 LLM 可观测性、指标监控、评估、提示词管理、playground 等功能，是 LLM 应用开发和调试的基础设施
🎯LLM 应用链路追踪、Prompt 调试与评估、生产环境可观测性
Ragas
github.com/vibrantlabsai/ragas
LLM 应用评估框架，提供 RAG 管道的自动化评测能力，支持答案相关性、上下文忠实度、幻觉检测等关键指标，帮助开发者量化和优化 LLM 应用质量。（14K+ stars）
🎯LLM 应用质量评估、RAG 管道评测、AI 产品验收测试
gateway
github.com/portkey-ai/gateway
AI 网关，12K+ stars。集成防护栏的高速 AI 网关，支持路由到 200+ LLM 和 50+ AI 基础设施，提供负载均衡和成本优化
🎯多模型 API 统一接入与路由
phoenix
github.com/arize-ai/phoenix
AI 可观测性与评估平台，9750 stars。提供 LLM 应用的可观测性、评估和调试能力，帮助监控 AI 系统性能
🎯LLM/RAG 链路追踪、Embedding 质量评估、生产监控
Logfire
github.com/pydantic/logfire
Pydantic 团队打造的 AI 可观测性平台。面向生产环境 LLM 和 Agent 系统的监控与追踪，支持 FastAPI 原生集成、日志与指标采集。4.2K+ stars。
🎯生产环境 LLM/Agent 监控、Pydantic 生态集成可观测性
Laminar
github.com/lmnr-ai/lmnr
YC S24 孵化的 AI Agent 可观测性平台——专为 AI Agent 设计的开源观测和分析工具，支持 LLM 评估、Agent 追踪和自托管部署，是 Agent 可观测性领域的新星。
🎯AI Agent 可观测性、LLM 评估追踪和自托管部署