KServe
CNCF 标准化的分布式生成式 AI 推理平台，5.5K+ stars。在 Kubernetes 上提供可扩展的多框架模型推理服务，支持 Istio 服务网格、自动扩缩容、A/B 测试和企业级部署
🎯适用场景：企业级模型部署——在 Kubernetes 集群上统一部署和管理多种 AI 模型的推理服务，支持自动扩缩容和金丝雀发布。
📥 收录于 2026/5/30
📊 仓库数据
📈 Stars 变化 ↑13 小时 +2· 统计区间 7/13 23:54 → 7/14 13:02（13 小时）
✅ 优点
- •CNCF 背书，企业级可靠性和社区支持
- •支持多框架模型统一部署（PyTorch/TF/ONNX/XGBoost）
- •原生集成 Istio 服务网格，支持高级流量管理
⚠️ 限制
- •需要 Kubernetes 基础设施，部署门槛较高
- •学习曲线陡峭，不适合小型团队
🔗 相关工具
NudgeBee
github.com/nudgebee/nudgebee
统一 CloudOps 平台，集成 AI-SRE、AI-FinOps、AI-K8sOps 和 Agentic 自动化构建器，无需碎片化工具或模型锁定。
🎯用 AI Agent 统一管理多云基础设施，自动化 SRE、FinOps 和 K8s 运维
Tensorflow
github.com/tensorflow/tensorflow
全球最流行的机器学习框架之一，195K+ stars。Google 开源的端到端 ML 平台，支持 TensorFlow、Keras 等多种 API，覆盖深度学习、强化学习、移动端部署等全场景，是 AI 工程师的必备工具
🎯深度学习模型训练、移动端 AI 部署、生产环境 ML 推理服务
Prometheus
github.com/prometheus/prometheus
开源监控系统和时序数据库，CNCF 毕业项目。采用多维数据模型和 PromQL 查询语言，是云原生和 AI 基础设施监控的事实标准，可与 Grafana 无缝集成。
🎯AI 服务 GPU 使用率监控、模型推理延迟追踪、Kubernetes 集群资源监控
Ray
github.com/ray-project/ray
AI 分布式计算引擎，42K+ stars。提供核心分布式运行时和一套 AI 库，加速 ML 工作负载——包括超参数搜索、强化学习、LLM 推理服务等，是大规模 AI 训练和推理的事实标准基础设施
🎯分布式 ML 训练与推理调度、超参数搜索与强化学习
LLM Action
github.com/liguodongiot/llm-action
生成式 AI 指南，4.9K+ stars。生成式 AI 研究更新、工具和资源的一站式资源库，涵盖最新进展和实用工具
🎯生成式 AI 技术学习、LLM 训练/推理/部署实践参考
ncnn
github.com/Tencent/ncnn
高性能神经网络推理框架，4.6K+ stars。针对移动端优化的高性能神经网络推理框架，腾讯开源的移动端深度学习推理方案
🎯移动端/嵌入式高性能神经网络推理部署
