MoE-Lightning 发布
2026 年 7 月
核心技术
- 专家缓存（热/温/冷分层）
- 动态卸载到 CPU 内存
- 分块计算减少峰值显存
性能指标
| 模型 | GPU | 吞吐量 |
|---|---|---|
| Mixtral 8x7B | RTX 4090 24GB | 45 tokens/s |
| Qwen3-235B | A100 80GB | 28 tokens/s |
AI Master 解读
核心事件
专用 MoE 推理框架降低部署门槛。
行业影响
影响分析： 1）专家缓存技术可将显存需求降低 3-5x；2）动态卸载让消费级 GPU 运行大模型；3）MoE 部署生态逐步成熟。
AI Master 建议
关注 MoE 推理优化技术栈——这是 MoE 大规模落地的关键基础设施。
📰 原始来源
https://arxiv.org