MoE Scaling Laws 研究：最优专家配置的系统性探索

MoE Scaling Laws

2025 年，多项研究系统探索 MoE 扩展规律。

关键发现

1. Joint MoE Scaling Laws：最优配置取决于目标延迟和显存预算
2. Parameters vs FLOPs：增加专家数比增加激活数更高效
3. DeepSeek 验证：671B/37B MoE 优于 37B 稠密
4. Qwen3 极端案例：80B/3B 用 4% 计算达到接近性能

结论

在推理预算固定时，'更大但更稀疏'的 MoE 模型性能更好。