Ml Engineering

开源推理 & 运维 › 推理引擎19k↑+19

由 Hugging Face 工程师 Stas Bekman 编写的机器学习工程开源书籍，系统讲解 GPU 调试、大模型推理优化、分布式训练等工程实践，是 AI 工程师从入门到进阶的实用指南。（17K+ stars）

🎯适用场景：大模型训练调试、GPU 性能优化、分布式系统架构学习、推理引擎选型参考

#ai#调试#gpus#推理#大语言模型

📥 收录于 2026/5/21

访问工具 📚 教程书架

📊 仓库数据

Stars18,691

Forks1,204

语言Python

协议CC-BY-SA-4.0

上线2020/9/3

更新2026/8/24

📈 Stars 变化 ↑3 天 +19· 统计区间 8/21 13:15 → 8/24 03:32（3 天）

✅ 优点

•一线工程师实战经验总结，内容实用
•覆盖从训练到推理的全链路
•持续更新，紧跟大模型技术发展

⚠️ 限制

•英文内容为主，中文读者需要一定英语基础
•部分内容偏向 Hugging Face 生态

🔗 相关工具

Mooncake

开源6.4k↑+23

github.com/kvcache-ai/Mooncake

Mooncake 是月之暗面 Kimi 的推理服务平台，基于 disaggregation 架构设计，通过 KVCache 分离管理实现大规模 LLM 推理服务的高效部署和弹性扩展

🎯大规模 LLM 推理服务部署、KVCache 管理与优化、高并发推理场景

#disaggregation#推理#kvcache#大语言模型

LLM Action

开源25k↑+12

github.com/liguodongiot/llm-action

生成式 AI 指南，4.9K+ stars。生成式 AI 研究更新、工具和资源的一站式资源库，涵盖最新进展和实用工具

🎯生成式 AI 技术学习、LLM 训练/推理/部署实践参考

#大语言模型#llm-inference#llm-serving#llm-training+1

Mistral Inference

开源11k↓-2

github.com/mistralai/mistral-inference

Mistral 模型官方推理库，提供优化的模型服务化和推理能力。专为 Mistral 系列大语言模型设计，支持高效推理和部署，是使用 Mistral 模型开发者的核心工具链。

🎯Mistral 模型官方推理库——优化 Mistral 模型的推理和服务，适合使用 Mistral 模型的开发者

#Mistral#推理优化#官方工具#大语言模型

ONNX Models

开源9.8k↑+2

github.com/onnx/models

ONNX 官方预训练模型集合，涵盖视觉、NLP、音频等多种模态，所有模型以 ONNX 格式提供，可直接用于跨平台部署。

🎯预训练 ONNX 模型获取——适合需要将模型部署到多种硬件平台的开发者，一次训练多端部署

IPEX-LLM

开源8.9k

github.com/intel/ipex-llm

Intel 开源的本地 LLM 推理加速库，支持 LLaMA、Mistral、ChatGLM、Qwen、DeepSeek 等主流模型在 Intel CPU/GPU 上高效推理，无需 NVIDIA GPU 即可运行大模型，是低成本 AI 部署的理想方案

🎯低成本本地 LLM 推理部署、Intel 硬件上的 AI 服务搭建

#本地推理#Intel GPU#CPU 加速#大语言模型

EAGLE

开源2.5k↑+3

github.com/SafeAILab/EAGLE

LLM 推理加速技术，包含 EAGLE-1/2/3 三代推测解码实现，可显著提升大语言模型推理速度

🎯LLM 推理加速、推测解码优化、降低推理延迟

#大语言模型#Llm-inference#Speculative-decoding