Langfuse

Langfuse 的架构围绕三大支柱设计。追踪（Tracing）：通过 Python/JS SDK 自动捕获 LLM 调用链，每次推理、检索、工具调用都记录为 Span，支持嵌套和因果关联，可视化展示完整执行路径。

评估（Evaluation）：支持人工标注（Human-in-the-Loop）和自动化评估（LLM-as-Judge），评估结果与 Trace 关联，可分析特定 Prompt 版本的质量变化趋势。

Prompt 管理：提供 Prompt 的版本控制、标签管理、A/B 测试能力，可将 Prompt 版本与 Trace 联动，精确定位哪个 Prompt 版本导致了质量下降。监控仪表盘：展示 Token 成本、延迟分布、质量评分等关键指标，支持告警和阈值监控。

Langfuse 和 LangSmith 是 2026 年 LLM 可观测性领域的两大平台。LangSmith 由 LangChain 团队开发，与 LangChain/LangGraph 深度集成，提供开箱即用的调试体验，但强绑定 LangChain 生态，不支持自托管，按 Trace 量计费。

Langfuse 是框架无关的——可通过 SDK 集成任何 LLM 应用（OpenAI、Anthropic、自定义模型），支持完全自托管（数据不出企业网络），开源（MIT 协议），社区活跃（25K+ Stars）。

选型建议：如果团队全面使用 LangChain/LangGraph 且不介意 SaaS，LangSmith 体验更丝滑；如果需要框架灵活性、数据自主权或成本敏感，Langfuse 是更优选择。

截至 2026 年 6 月，Langfuse 的 GitHub Stars 超过 25K，被数千个 LLM 应用项目采用。主要集成场景包括：Agent 系统调试（追踪多步推理路径）、RAG 系统优化（分析检索质量和召回率）、Prompt 工程迭代（版本对比和质量追踪）。

Langfuse 支持 OpenTelemetry 协议，可与 Datadog、Grafana 等传统 APM 工具联动。2026 年，Langfuse 新增了 Agent 评估模块，支持对多 Agent 系统的端到端行为进行自动化评估。