ONNX Models
ONNX 官方预训练模型集合，涵盖视觉、NLP、音频等多种模态，所有模型以 ONNX 格式提供，可直接用于跨平台部署。
🎯适用场景：预训练 ONNX 模型获取——适合需要将模型部署到多种硬件平台的开发者，一次训练多端部署
📥 收录于 2026/5/28
📊 仓库数据
📈 Stars 变化 ↑6 小时 +1· 统计区间 7/11 12:08 → 7/11 18:09（6 小时）
✅ 优点
- •ONNX 官方维护
- •覆盖多种任务模态
- •跨平台部署友好
- •持续更新
⚠️ 限制
- •仅提供 ONNX 格式
- •部分模型较旧
- •需要自行编写推理代码
🔗 相关工具
Ml Engineering
github.com/stas00/ml-engineering
由 Hugging Face 工程师 Stas Bekman 编写的机器学习工程开源书籍，系统讲解 GPU 调试、大模型推理优化、分布式训练等工程实践，是 AI 工程师从入门到进阶的实用指南。（17K+ stars）
🎯大模型训练调试、GPU 性能优化、分布式系统架构学习、推理引擎选型参考
OpenVINO Toolkit
github.com/openvinotoolkit/openvino
Intel 开源 AI 推理优化与部署工具包，10K+ stars。支持计算机视觉、深度学习、扩散模型等多种 AI 任务的推理加速和跨平台部署，是端侧 AI 推理的标准工具
🎯AI 模型推理加速和跨平台部署
Mooncake
github.com/kvcache-ai/Mooncake
Mooncake 是月之暗面 Kimi 的推理服务平台，基于 disaggregation 架构设计，通过 KVCache 分离管理实现大规模 LLM 推理服务的高效部署和弹性扩展
🎯大规模 LLM 推理服务部署、KVCache 管理与优化、高并发推理场景
Tensorflow
github.com/tensorflow/tensorflow
全球最流行的机器学习框架之一，195K+ stars。Google 开源的端到端 ML 平台，支持 TensorFlow、Keras 等多种 API，覆盖深度学习、强化学习、移动端部署等全场景，是 AI 工程师的必备工具
🎯深度学习模型训练、移动端 AI 部署、生产环境 ML 推理服务
Prometheus
github.com/prometheus/prometheus
开源监控系统和时序数据库，CNCF 毕业项目。采用多维数据模型和 PromQL 查询语言，是云原生和 AI 基础设施监控的事实标准，可与 Grafana 无缝集成。
🎯AI 服务 GPU 使用率监控、模型推理延迟追踪、Kubernetes 集群资源监控
Ray
github.com/ray-project/ray
AI 分布式计算引擎，42K+ stars。提供核心分布式运行时和一套 AI 库，加速 ML 工作负载——包括超参数搜索、强化学习、LLM 推理服务等，是大规模 AI 训练和推理的事实标准基础设施
🎯分布式 ML 训练与推理调度、超参数搜索与强化学习
