DeepSpeed
DeepSpeed 是微软开发的深度学习优化库，使分布式训练和推理变得简单高效。支持 ZeRO 优化、模型并行、流水线并行、混合精度训练、推理加速等功能，可在消费级 GPU 上训练万亿参数模型。42K+ stars。
🎯适用场景：大规模深度学习模型分布式训练与推理加速
📥 收录于 2026/6/3
📊 仓库数据
📈 Stars 变化 ↑9 小时 +1· 统计区间 7/17 20:11 → 7/18 05:19（9 小时）
✅ 优点
- •微软官方维护技术实力强
- •支持 ZeRO 等前沿优化技术
- •可在消费级 GPU 上训练大模型
- •与 PyTorch 无缝集成
⚠️ 限制
- •配置和使用有一定学习成本
- •分布式环境部署需要运维经验
- •主要针对大规模场景小模型收益有限
🔗 相关工具
DeepSpeed
github.com/microsoft/DeepSpeed
深度学习训练优化库，42,156+ stars。微软开发的开源深度学习优化库，提供 ZeRO 内存优化、3D 并行等核心技术，大幅降低大模型训练成本
🎯大模型微调与训练
ColossalAI
github.com/hpcaitech/ColossalAI
大模型训练加速框架，41,373+ stars。统一的大模型训练框架，提供高效的并行策略和内存优化，支持从预训练到微调的全流程
🎯大模型微调与训练
Tensorflow
github.com/tensorflow/tensorflow
全球最流行的机器学习框架之一，195K+ stars。Google 开源的端到端 ML 平台，支持 TensorFlow、Keras 等多种 API，覆盖深度学习、强化学习、移动端部署等全场景，是 AI 工程师的必备工具
🎯深度学习模型训练、移动端 AI 部署、生产环境 ML 推理服务
Pytorch
github.com/pytorch/pytorch
Meta 开源的深度学习框架，100K+ stars。以动态计算图和 Pythonic 风格著称，在学术界和工业界都有广泛应用，支持分布式训练、移动端部署和 ONNX 导出
🎯深度学习模型研发、学术论文实验、大模型微调训练
动手学深度学习
github.com/d2l-ai/d2l-zh
李沐等翻译的《动手学深度学习》中文版，77,310+ stars。基于 MXNet/PyTorch 的深度学习教材，从线性回归到 Transformer，每章含可运行代码和习题。是中国最受欢迎的深度学习入门教材，被多所高校选为课程教材。
🎯AI 技术学习与实践教程
LLaMA Factory
github.com/hiyouga/LLaMA-Factory
100+ 大模型高效微调工具，71K+ stars。支持 LoRA、QLoRA、DPO、PPO 等 10+ 种微调方法，提供 WebUI 一键式微调界面，兼容 LLaMA、Mistral、Qwen、Baichuan 等主流模型。ACL 2024 论文收录
🎯大模型微调与训练
