ColossalAI

深度学习训练优化库，42,156+ stars。微软开发的开源深度学习优化库，提供 ZeRO 内存优化、3D 并行等核心技术，大幅降低大模型训练成本

🎯大模型微调与训练

DeepSpeed 是微软开发的深度学习优化库，使分布式训练和推理变得简单高效。支持 ZeRO 优化、模型并行、流水线并行、混合精度训练、推理加速等功能，可在消费级 GPU 上训练万亿参数模型。42K+ stars。

🎯大规模深度学习模型分布式训练与推理加速

kvcache-ai 开源的异构 LLM 推理与微调框架。通过 CPU-GPU 异构计算实现消费级硬件运行前沿大模型。支持 DeepSeek V4 Flash、GLM 5.2、MiniMax M3 等模型，KT kernel 提供高性能推理和 SFT。

🎯在消费级硬件上通过异构计算运行前沿大模型推理和微调

Moonshot AI 开源的 Expert Parallelism 通信库，通过动态冗余专家实现跨 rank 完美均衡 token 负载。Zero copy 设计使原始通信快于 DeepEP v2，MIT 许可。Kimi K3（2.8T 参数 MoE）背后的 EP 基础设施。

🎯MoE 模型分布式训练中的 Expert Parallelism 通信优化

100+ 大模型高效微调工具，71K+ stars。支持 LoRA、QLoRA、DPO、PPO 等 10+ 种微调方法，提供 WebUI 一键式微调界面，兼容 LLaMA、Mistral、Qwen、Baichuan 等主流模型。ACL 2024 论文收录

🎯大模型微调与训练

统一高效微调 100+ 大模型，71K+ stars。支持 100+ LLM 和 VLM 的高效微调框架（ACL 2024 论文收录）

🎯大模型微调与训练