Ray
AI 分布式计算引擎，42K+ stars。提供核心分布式运行时和一套 AI 库，加速 ML 工作负载——包括超参数搜索、强化学习、LLM 推理服务等，是大规模 AI 训练和推理的事实标准基础设施
🎯适用场景：大规模分布式 ML 训练、LLM 推理服务、超参数搜索、强化学习
📊 仓库数据
📈 上次抓取以来 ↑+3 ⭐
✅ 优点
- •统一分布式运行时
- •覆盖 ML 全流程工具链
- •LLM 推理和训练加速
- •Apache 2.0 开源
⚠️ 限制
- •集群配置有一定复杂度
- •资源消耗较大
- •小项目不需要分布式能力
🔗 相关工具
SGLang
开源⭐ 28k↑+10github.com/sgl-project/sglang
高性能 LLM 和多模态模型服务框架，27K+ stars。采用 RadixAttention 等高效注意力实现，支持 DeepSeek、Llama、Qwen、GPT-OSS 等主流模型的高吞吐推理服务，是 vLLM 之外另一个生产级推理引擎选择
🎯 生产环境 LLM 推理服务、多模态模型部署、高并发 AI API 服务
vLLM
开源⭐ 81k↑+19github.com/vllm-project/vllm
高吞吐 LLM 推理引擎，77,418+ stars。采用 PagedAttention 显存优化技术，吞吐量比 HuggingFace Transformers 高 24 倍，是生产环境部署大模型推理的首选方案，支持 OpenAI 兼容 API
🎯 生产环境 LLM 推理服务、高并发 API 服务、模型部署优化
Netdata
开源⭐ 79k↑+3github.com/netdata/netdata
AI 全栈可观测性平台，78,515+ stars。实时监控服务器性能、应用指标和网络流量，内置 AI 异常检测引擎，自动发现并预警系统问题。零配置、开箱即用，每秒采集数千指标，是最轻量的基础设施监控方案。
🎯 服务器监控、应用性能观测、AI 驱动的异常预警、基础设施运维
RTK
开源⭐ 52k↑+217github.com/rtk-ai/rtk
CLI 代理层，减少 60-90% 的 LLM token 消耗。Rust 编写的单二进制文件，零依赖，支持 Claude Code、Codex、Cursor 等主流 AI 编码工具。通过本地代理缓存和智能去重，大幅降低日常开发中的 token 成本
🎯 AI 编码工具 token 成本优化、日常开发中的智能缓存
LiteLLM
开源⭐ 48k↑+28github.com/BerriAI/litellm
100+ LLM API 统一 SDK，48K+ stars。统一的 LLM API 代理和 SDK，支持 OpenAI、Claude、Gemini 等所有主流模型，一个接口调用所有模型，是 AI 编码的瑞士军刀
🎯 多模型统一接入、LLM 网关、成本优化、高可用 AI 服务架构
Kong API Gateway
开源⭐ 43k↑+1github.com/kong/kong
Magicrew 开源 AI 生产力平台，5.2K+ stars。首个开源全合一 AI 生产力平台，集成多种 AI 工具和工作流
🎯 LLM 统一接入网关、AI 服务路由与限流、MCP 协议网关、企业 API 管理