KServe
CNCF 标准化的分布式生成式 AI 推理平台，5.5K+ stars。在 Kubernetes 上提供可扩展的多框架模型推理服务，支持 Istio 服务网格、自动扩缩容、A/B 测试和企业级部署
🎯适用场景：企业级模型部署——在 Kubernetes 集群上统一部署和管理多种 AI 模型的推理服务，支持自动扩缩容和金丝雀发布。
📥 收录于 2026/5/30
📊 仓库数据
📈 上次抓取以来 ↑+2 ⭐
✅ 优点
- •CNCF 背书，企业级可靠性和社区支持
- •支持多框架模型统一部署（PyTorch/TF/ONNX/XGBoost）
- •原生集成 Istio 服务网格，支持高级流量管理
⚠️ 限制
- •需要 Kubernetes 基础设施，部署门槛较高
- •学习曲线陡峭，不适合小型团队
🔗 相关工具
Flyte
github.com/flyteorg/flyte
动态弹性 AI 编排平台，协调数据、模型和计算构建 AI 工作流，7K+ stars
🎯AI 工作流编排与调度
HolmesGPT
github.com/HolmesGPT/holmesgpt
CNCF 沙箱项目的 SRE Agent，2500+ stars。AI 驱动的事件响应和根因分析 Agent，集成 Prometheus、Kubernetes、Slack、Jira 等运维工具链，是 AIOps 领域的开源标杆
🎯运维事件响应，根因分析，AIOps 自动化巡检
vLLM
github.com/vllm-project/vllm
高吞吐 LLM 推理引擎，77,418+ stars。采用 PagedAttention 显存优化技术，吞吐量比 HuggingFace Transformers 高 24 倍，是生产环境部署大模型推理的首选方案，支持 OpenAI 兼容 API
🎯生产环境模型推理服务
Netdata
github.com/netdata/netdata
AI 全栈可观测性平台，78,515+ stars。实时监控服务器性能、应用指标和网络流量，内置 AI 异常检测引擎，自动发现并预警系统问题。零配置、开箱即用，每秒采集数千指标，是最轻量的基础设施监控方案。
🎯服务器与基础设施实时监控、AI 异常检测预警
Grafana
github.com/grafana/grafana
开源可观测性和数据可视化平台。支持可视化指标、日志、追踪等多源数据，兼容 Prometheus、Loki、Elasticsearch、InfluxDB 等后端。是 MLOps 团队监控模型和基础设施的首选仪表盘工具。
🎯MLOps 模型监控仪表盘、AI 服务指标可视化、训练任务实时追踪
Prometheus
github.com/prometheus/prometheus
开源监控系统和时序数据库，CNCF 毕业项目。采用多维数据模型和 PromQL 查询语言，是云原生和 AI 基础设施监控的事实标准，可与 Grafana 无缝集成。
🎯AI 服务 GPU 使用率监控、模型推理延迟追踪、Kubernetes 集群资源监控