DeepSeek-V3 负载均衡创新
2024 年 12 月，DeepSeek-V3 技术报告发布。
传统方案的问题
- 辅助损失 L_total = L_LM + α · L_balance
- α 太小 → 路由坍塌（少数专家过载）
- α 太大 → 干扰模型性能
DeepSeek 方案
- 为每个专家维护动态偏置项 bᵢ
- 路由分数：s'ᵢ = sᵢ + bᵢ
- 过载 → bᵢ -= γ，欠载 → bᵢ += γ
- 偏置项只用于路由，不参与梯度计算
效果
- 训练成本：2.788M H800 GPU hours
- 相比 GPT-4 估计成本降低 ~36 倍
- 性能达到开源模型 SOTA
AI Master 解读
核心事件
DeepSeek-V3 提出无辅助损失负载均衡方案，通过动态偏置项替代传统辅助损失，解耦负载均衡和模型性能优化。
行业影响
影响分析： 传统 MoE 的辅助损失系数 α 是难以调的超参数，太小负载不均，太大损害性能。DeepSeek 的偏置项方案只影响路由决策，不干扰梯度更新，从根本上解决了这个权衡问题。
AI Master 建议
这是 MoE 工程化的关键突破，值得深入研究。
📰 原始来源
https://arxiv.org