AI研究5 天前·arXiv

MoE 量化新方法 MoEQuant:专家平衡采样提升后训练量化效果

MoEQuant 提出专家平衡采样策略,解决 MoE 模型后训练量化中不同专家激活频率不均导致的质量问题。在相同比特率下,比均匀采样方法提升 2-3 个困惑度点。

MoEQuant

2025 年

核心创新

  • 专家平衡采样策略
  • 考虑激活频率差异
  • 后训练量化优化

效果对比

方法 4-bit 困惑度
均匀采样 12.8
MoEQuant 10.2

AI Master 解读

核心事件

MoE 专用量化技术突破。

行业影响

影响分析: 1)MoE 量化需要考虑专家激活分布;2)同等压缩率下质量更优;3)MoE 部署效率进一步提升。

AI Master 建议

关注 MoE 专用优化技术——通用方法可能不是最优的。

📰 原始来源

https://arxiv.org