TensorZero
开源 LLMOps 平台，统一 LLM 网关、可观测性、评估和微调能力，提供从实验到生产的端到端基础设施，帮助企业高效管理多模型 LLM 应用。（11K+ stars）
🎯适用场景：LLM 生产环境管理、多模型路由、A/B 测试和效果评估
📊 仓库数据
✅ 优点
- •Rust 编写，高性能低延迟
- •网关+观测+评估一体化
- •支持模型微调和持续优化
⚠️ 限制
- •相对较新，社区生态仍在成长中
- •高级功能需要自建基础设施
🔗 相关工具
langfuse
开源⭐ 28k↑+7github.com/langfuse/langfuse
🪢 开源 LLM 工程平台，28K+ stars。提供 LLM 可观测性、指标监控、评估、提示词管理、playground 等功能，是 LLM 应用开发和调试的基础设施
🎯 LLM 应用链路追踪、Prompt 调试与评估、生产环境可观测性
llm-action
开源⭐ 24k↓1github.com/liguodongiot/llm-action
生成式 AI 指南，4.9K+ stars。生成式 AI 研究更新、工具和资源的一站式资源库，涵盖最新进展和实用工具
🎯 生成式 AI 技术学习、LLM 训练/推理/部署实践参考
Ragas
开源⭐ 14kgithub.com/vibrantlabsai/ragas
LLM 应用评估框架，提供 RAG 管道的自动化评测能力，支持答案相关性、上下文忠实度、幻觉检测等关键指标，帮助开发者量化和优化 LLM 应用质量。（14K+ stars）
🎯 LLM 应用质量评估、RAG 管道评测、AI 产品验收测试
vLLM
开源⭐ 81k↑+13github.com/vllm-project/vllm
高吞吐 LLM 推理引擎，77,418+ stars。采用 PagedAttention 显存优化技术，吞吐量比 HuggingFace Transformers 高 24 倍，是生产环境部署大模型推理的首选方案，支持 OpenAI 兼容 API
🎯 生产环境模型推理服务
Netdata
开源⭐ 79k↓1github.com/netdata/netdata
AI 全栈可观测性平台，78,515+ stars。实时监控服务器性能、应用指标和网络流量，内置 AI 异常检测引擎，自动发现并预警系统问题。零配置、开箱即用，每秒采集数千指标，是最轻量的基础设施监控方案。
🎯 服务器与基础设施实时监控、AI 异常检测预警
RTK
开源⭐ 53k↑+105github.com/rtk-ai/rtk
CLI 代理层，减少 60-90% 的 LLM token 消耗。Rust 编写的单二进制文件，零依赖，支持 Claude Code、Codex、Cursor 等主流 AI 编码工具。通过本地代理缓存和智能去重，大幅降低日常开发中的 token 成本
🎯 AI 辅助编程与代码生成