OpenLLM
OpenLLM 是 BentoML 推出的开源大模型推理部署工具，支持 Llama、DeepSeek 等主流开源模型，提供 OpenAI 兼容 API 端点，简化云端和边缘部署流程
🎯适用场景：LLM 推理部署
📊 仓库数据
✅ 优点
- •支持多种开源模型
- •OpenAI 兼容 API
- •易于部署
⚠️ 限制
- •需要 GPU 资源
- •配置相对复杂
🔗 相关工具
TensorZero
开源⭐ 11kgithub.com/tensorzero/tensorzero
开源 LLMOps 平台，统一 LLM 网关、可观测性、评估和微调能力，提供从实验到生产的端到端基础设施，帮助企业高效管理多模型 LLM 应用。（11K+ stars）
🎯 LLM 生产环境管理、多模型路由、A/B 测试和效果评估
vLLM
开源⭐ 81k↑+6github.com/vllm-project/vllm
高吞吐 LLM 推理引擎，77,418+ stars。采用 PagedAttention 显存优化技术，吞吐量比 HuggingFace Transformers 高 24 倍，是生产环境部署大模型推理的首选方案，支持 OpenAI 兼容 API
🎯 生产环境模型推理服务
Netdata
开源⭐ 79kgithub.com/netdata/netdata
AI 全栈可观测性平台，78,515+ stars。实时监控服务器性能、应用指标和网络流量，内置 AI 异常检测引擎，自动发现并预警系统问题。零配置、开箱即用，每秒采集数千指标，是最轻量的基础设施监控方案。
🎯 服务器与基础设施实时监控、AI 异常检测预警
RTK
开源⭐ 54k↑+58github.com/rtk-ai/rtk
CLI 代理层，减少 60-90% 的 LLM token 消耗。Rust 编写的单二进制文件，零依赖，支持 Claude Code、Codex、Cursor 等主流 AI 编码工具。通过本地代理缓存和智能去重，大幅降低日常开发中的 token 成本
🎯 AI 辅助编程与代码生成
LiteLLM
开源⭐ 48k↑+12github.com/BerriAI/litellm
100+ LLM API 统一 SDK，48K+ stars。统一的 LLM API 代理和 SDK，支持 OpenAI、Claude、Gemini 等所有主流模型，一个接口调用所有模型，是 AI 编码的瑞士军刀
🎯 多模型 API 统一接入与路由
Apache Airflow
开源⭐ 46k↓1github.com/apache/airflow
Apache 顶级项目，AI 工作流编排的事实标准，45K+ stars。以 DAG 方式定义、调度和监控复杂数据处理管道——支持 ML 训练管道编排、模型推理任务调度、数据 ETL 等，是生产级 AI 基础设施的核心组件
🎯 分布式 ML 训练与推理调度、AI 数据管道编排