AI基础设施5 天前·DeepSeek

DeepEP 发布:专为 MoE 专家并行设计的高效通信库

DeepSeek 团队发布 DeepEP,一个专为 MoE 模型专家并行设计的通信库。通过优化的 All-to-All 通信和重叠计算,将 MoE 训练效率提升 40%。

DeepEP 发布

2025 年

核心优化

  • 高效 All-to-All 通信
  • 计算-通信重叠
  • 拓扑感知路由

性能提升

场景 提升
2048 GPU 训练 +40%
通信开销 -35%

AI Master 解读

核心事件

MoE 训练基础设施持续完善。

行业影响

影响分析: 1)专家并行通信开销大幅降低;2)MoE 训练成本进一步下降;3)开源工具降低 MoE 入门门槛。

AI Master 建议

关注 MoE 训练工具链——这是降低大模型训练成本的关键。