DeepSpeed

DeepSpeed 是微软开发的深度学习优化库，使分布式训练和推理变得简单高效。支持 ZeRO 优化、模型并行、流水线并行、混合精度训练、推理加速等功能，可在消费级 GPU 上训练万亿参数模型。42K+ stars。

🎯大规模深度学习模型分布式训练与推理加速

大模型训练加速框架，41,373+ stars。统一的大模型训练框架，提供高效的并行策略和内存优化，支持从预训练到微调的全流程

🎯大模型微调与训练

kvcache-ai 开源的异构 LLM 推理与微调框架。通过 CPU-GPU 异构计算实现消费级硬件运行前沿大模型。支持 DeepSeek V4 Flash、GLM 5.2、MiniMax M3 等模型，KT kernel 提供高性能推理和 SFT。

🎯在消费级硬件上通过异构计算运行前沿大模型推理和微调

Moonshot AI 开源的 Expert Parallelism 通信库，通过动态冗余专家实现跨 rank 完美均衡 token 负载。Zero copy 设计使原始通信快于 DeepEP v2，MIT 许可。Kimi K3（2.8T 参数 MoE）背后的 EP 基础设施。

🎯MoE 模型分布式训练中的 Expert Parallelism 通信优化

LLM 强化学习开源框架，致力于降低强化学习应用于大语言模型的门槛，支持分布式训练、编码 Agent、搜索 Agent 等多种场景，是 verl 生态的重要组成部分。

🎯LLM强化学习与奖励模型训练，适合研究型团队探索Agent自主学习能力

全球最流行的机器学习框架之一，195K+ stars。Google 开源的端到端 ML 平台，支持 TensorFlow、Keras 等多种 API，覆盖深度学习、强化学习、移动端部署等全场景，是 AI 工程师的必备工具

🎯深度学习模型训练、移动端 AI 部署、生产环境 ML 推理服务