Mixture of Experts（MoE，混合专家）

MoE 的架构由三个核心组件构成。

(1) 专家网络（Expert Networks）：多个独立的子网络，每个专家专注于处理特定类型的输入或任务。在 Transformer 架构中，专家通常位于 FFN（Feed-Forward Network）层，每个专家是一个独立的 FFN。

(2) 门控网络（Gating Network）：根据输入动态决定激活哪些专家。典型的门控机制是 Top-K 选择——对每个输入，门控网络计算所有专家的得分，选择得分最高的 K 个专家。Mixtral 8x7B 采用 Top-2 门控（8 个专家中选 2 个）。

(3) 负载均衡机制（Load Balancing）：确保所有专家被均匀使用。如果某些专家被过度使用（热门专家），而其他专家闲置（冷门专家），模型效率会下降。MoE 训练时通常加入负载均衡损失（Load Balancing Loss），惩罚专家使用不均匀的情况。

MoE 的发展可分为三个阶段。

(1) 理论奠基（1991-2016）：1991 年 Jacobs 等人提出「Adaptive Mixtures of Local Experts」，奠定 MoE 理论基础。2016 年 Google 的「Outrageously Large Neural Networks」首次将 MoE 扩展到深度神经网络，提出稀疏混合专家（Sparsely-Gated MoE）架构。

(2) 大模型时代（2021-2023）：2021 年 Google 的 Switch Transformer 将 MoE 扩展到 1.6T 参数模型。2022 年 DeepMind 的 GShard 在翻译任务上验证 MoE 的有效性。2023 年 Mistral AI 发布 Mixtral 8x7B，首个开源高质量 MoE 模型，8 个专家各 7B 参数，每次激活 2 个专家，性能接近 Llama 2 70B 但推理成本仅为其 1/6。

(3) 工业化部署（2024-2026）：2024 年 GPT-4 估计采用 8×220B 参数的 MoE 架构。2026 年，GLM-5.2（744B 总参数，40B 激活）、MiniMax M3（428B 总参数，23B 激活）均采用 MoE 架构。MoE 已成为大模型的标准范式。

2026 年，MoE 已成为大语言模型的主流架构。

代表模型：GLM-5.2（智谱 AI，744B 总参数，40B 激活，100 万 Token 上下文）；MiniMax M3（428B 总参数，23B 激活，编程能力超越海外主流模型）；GPT-5.6 系列（OpenAI，估计采用 MoE 架构）；Mixtral 8x22B（Mistral AI，8 个专家各 22B 参数）。

推理优化：MoE 的推理成本由激活参数量决定，而非总参数量。GLM-5.2 的 744B 总参数模型，每次推理仅激活 40B 参数，推理成本接近 40B 密集模型。这使得端侧部署成为可能——iPhone 17 Pro 的统一内存为 12GB，可运行 23B 激活参数的 MoE 模型。

训练挑战：MoE 的训练比密集模型更复杂，需要解决负载均衡、专家坍塌（Expert Collapse，某些专家完全不被使用）、通信开销（分布式训练中专家间的通信）等问题。NVIDIA Megatron-LM 和 DeepSpeed 提供了 MoE 训练的标准化框架。