简要回答
MoE 把 FFN 层换成多个并行专家加一个门控网络：每个 token 只被路由到 Top-k 个专家，其余专家不参与计算——这就是稀疏激活。效果是总参数可以很大（容量高）而单 token 计算量很小（推理省），容量与算力解耦。代价是专家全量常驻显存、需要负载均衡、跨设备路由通信开销高。DeepSeek-V3、Mixtral 到 2026 年的 Kimi K3（2.8T）都走这条路线。
标准回答
一、原理
MoE 把 Transformer 中的 FFN 层替换为多个并行“专家”FFN，外加一个门控网络（Gating）。门控对每个 token 算出各专家得分，只选 Top-k（常为 1~2）个专家计算并按权重加权求和。因此每个 token 只激活一小部分参数——稀疏激活。
二、关键区分
总参数量可达数千亿（容量大），但单 token 激活参数量只有其中一小部分（计算省）。这让模型容量与推理算力解耦，相同 FLOPs 下能塞进更多知识，符合 Scaling Law 的高效扩展。
三、说明优势成立的前提
- 参数规模上去而单次前向计算不成比例增长，预训练/推理更经济；
- 不同专家可分化处理不同模式，提升表达力；
- 易于扩展，是 DeepSeek-V3、Mixtral 等大模型的主流选择。
面试里可以补一句：混合专家模型MoE的原理和优势是什么 在大模型场景下通常要同时权衡效果、延迟、成本和安全边界。回答时最好带一个例子，比如上下文过长、幻觉、缓存命中或工具调用失败时，系统应该如何降级和观测。
四、说明挑战和应对方式
需负载均衡（辅助损失）避免专家“旱涝不均”；全部专家常驻显存，显存占用按总参数算；路由不可导、训练稳定性与通信开销较高。
详见 MoE 稀疏化架构 与 MoE。
常见误区
⚠️ 常见踩坑
误区一：容易答偏的地方：MoE 省的是“计算量”而非“显存”——所有专家权重都要常驻显存，按总参数算占用；激活参数少不等于部署更省内存。也别把专家理解成按“领域”分工，路由是学出来的、并不对应人类语义类别。
追问
追问 1：MoE 如何解决专家负载不均衡？
辅助损失是主手段：常加负载均衡辅助损失（load-balancing loss）鼓励 token 在专家间均匀分布，并设每专家容量上限（capacity factor），超出则丢弃或溢出到其他专家。DeepSeek 等还用无辅助损失的偏置调整路由，直接动态调节专家偏置，减小辅助损失对主损失的干扰。判断均衡是否健康看两个指标：专家激活分布的熔与路由熵。
追问 2：Dense 模型和同等激活参数的 MoE，哪个效果更好？
结论要分口径：相同激活参数（即相近推理算力）下，MoE 通常优于 Dense，因为总参数更大、容量更高；但相同总参数下 Dense 往往更强。MoE 的价值在于用更低的单 token 计算换取更大的有效容量。选型时别只看基准分数：MoE 的部署门槛（显存按总参数算）常是实际约束，2026 年 2.8T 级开源 MoE 的部署就集中在专业推理服务商。
2026-08-04 更新：Kimi K3 2.8T 与 MoE 开源军备竞赛
2026 年 7 月底 MoE 赛道刻度被再次刷新：Moonshot AI 发布 Kimi K3，总参数 2.8T，成为当前公开报道中参数规模最大的开源模型之一（ZDNet AI 模型发布追踪，poolId P006）。同期 12 天内全球密集发布至少 9 个重要开源模型（Tech Insider，poolId P007）。
对本题工程取舍框架的三点印证：①2.8T 若为稠密架构，开源生态的算力预算无法部署——总参数大、激活参数小是超大开源模型唯一可行的架构选择；②配套基础设施（专家并行通信库 MoonEP 等）成为 MoE 训练的第二战场；③部署门槛进一步向专业推理服务商集中——回答「MoE 工程取舍」时，2.8T 是比 GPT-4 更好的开源参照样本。
🔗 相似问题
同一考点的不同问法，换着练更稳
延伸学习
按主题分类的相关资源，便于系统复习