DeepSpeed

开源训练 & 微调42k

深度学习训练优化库,42,156+ stars。微软开发的开源深度学习优化库,提供 ZeRO 内存优化、3D 并行等核心技术,大幅降低大模型训练成本

🎯适用场景:大语言模型训练、大规模分布式训练、显存优化

#深度学习#训练优化#ZeRO#分布式训练

📊 仓库数据

Stars42,156
语言Python
更新2026/5/13

优点

  • 显著降低显存占用
  • 训练速度提升明显
  • 微软官方持续维护
  • 与 PyTorch 无缝集成

⚠️ 限制

  • 配置参数复杂
  • 调试困难
  • 对硬件环境有特定要求

🔗 相关工具

Keras

开源64k↑+5

github.com/keras-team/keras

深度学习框架,64,020+ stars。高级神经网络 API,支持 TensorFlow、JAX、PyTorch 多后端。以用户友好著称,让深度学习从实验到生产的转化变得简单高效

🎯 深度学习模型开发、快速原型验证、工业级模型训练部署

#深度学习#神经网络#多后端#TensorFlow
语言Python
🍴 Forks19,762
📅 上线2015/3/28
🔄 更新2026/4/27

LLaMA Factory

开源70k

github.com/hiyouga/LLaMA-Factory

100+ LLM/VLM 高效微调工具,70,362+ stars。支持 LoRA、QLoRA、DPO、PPO 等 10+ 种微调方法,提供 WebUI 一键式微调界面,兼容 LLaMA、Mistral、Qwen、Baichuan 等主流模型。ACL 2024 论文收录,是最受欢迎的开源 LLM 微调平台。

🎯 LLM 领域微调、模型对齐、DPO 偏好优化、企业定制模型

#LLM#微调#LoRA#WebUI
语言Python
📅 上线2023/4/1
🔄 更新2026/5/13

LLaMA-Factory

开源70k

github.com/hiyouga/LLaMA-Factory

统一 LLM/VLM 微调框架,70,362+ stars(ACL 2024 论文)。支持 100+ 大语言模型和视觉语言模型的轻量微调,提供 Web UI 和 CLI 双接口,LoRA/QLoRA/全参数微调一站式解决方案

🎯 LLM/VLM 微调训练、领域适配模型开发、学术研究和实验

#微调#LoRA#LLM#ACL 2024
语言Python
🔄 更新2026/5/13

Unsloth

开源63k↑+69

github.com/unslothai/unsloth

LLM 微调 Web UI 和优化工具,62,269+ stars。提供 2 倍训练速度、70% 显存占用的 LLM 微调方案,支持 Llama、Mistral、Qwen 等主流模型的 LoRA/QLoRA 微调

🎯 LLM 微调训练、个性化模型定制、消费级显卡微调大模型

#LLM微调#LoRA#显存优化#Web UI
语言Python
🍴 Forks5,519
📅 上线2023/11/29
🔄 更新2026/4/27

ColossalAI

开源41k1

github.com/hpcaitech/ColossalAI

大模型训练加速框架,41,373+ stars。统一的大模型训练框架,提供高效的并行策略和内存优化,支持从预训练到微调的全流程

🎯 大模型预训练、微调加速、分布式训练优化

#大模型#训练加速#并行策略#内存优化
语言Python
🍴 Forks4,518
📅 上线2021/10/28
🔄 更新2026/4/27

动手学深度学习

开源77k↑+14

github.com/d2l-ai/d2l-zh

李沐等翻译的《动手学深度学习》中文版,77,310+ stars。基于 MXNet/PyTorch 的深度学习教材,从线性回归到 Transformer,每章含可运行代码和习题。是中国最受欢迎的深度学习入门教材,被多所高校选为课程教材。

🎯 深度学习系统学习、高校课程教材、AI 入门自学

#深度学习#教程#中文#教材
语言Python
🍴 Forks12,260
📅 上线2017/8/23
🔄 更新2026/4/27