Llama 4 转向 MoE
2025 年 4 月，Meta 发布 Llama 4 系列。
模型配置
- Scout：109B 总参 / 17B 激活，16 专家
- 单 H100 可运行
- 支持 10M token 上下文
- Maverick：400B 总参 / 17B 激活，128 专家
- 128 专家大规模配置
意义
- Meta 首次采用 MoE
- 证明 MoE 在超大规模模型中的可行性
- 开源社区将获得 MoE 架构的 Llama
AI Master 解读
核心事件
Meta 从稠密模型转向 MoE。
行业影响
影响分析： Llama 是最有影响力的开源模型系列之一，其架构选择具有风向标意义。Scout 单 GPU 运行 109B 模型的能力，展示了 MoE 在部署效率上的优势。
AI Master 建议
关注 Llama 4 的社区采用情况，这将验证 MoE 的生态接受度。
📰 原始来源
https://ai.meta.com