解释 MoE 架构中 Expert 路由策略的演进

MoE 路由策略从传统 top-k 显式路由演进到 Stable LatentMoE 潜空间路由。传统方法基于 token 显式特征选择 Expert，存在路由不稳定、负载不均、训练震荡三大问题。Stable LatentMoE 将路由决策移到潜空间，通过聚类结构实现稳定分配，在 Kimi K3 的 1M 上下文场景下将路由复杂度降至 O(1)。

一、MoE 基础与路由问题

Mixture of Experts（MoE）架构的核心思想是：模型拥有大量 Expert 子网络，但每次推理只激活其中一部分，从而在保持大参数容量的同时控制推理成本。路由策略决定"哪些 token 分配给哪些 Expert"，是 MoE 的关键设计。

传统路由使用 top-k 机制：对每个 token，路由网络计算所有 Expert 的得分，选择 top-k 个 Expert 处理。这种方法简单直接，但存在三个核心问题：

1. 路由不稳定：相似的 token 可能因为微小噪声被分配到不同 Expert，导致输出不一致
2. 负载不均：少数 Expert 被频繁选择（"热门 Expert"），其他 Expert 利用率低，容量浪费
3. 训练震荡：路由决策的离散性导致梯度不稳定，训练难以收敛

二、Stable LatentMoE 的改进

Stable LatentMoE 将路由决策从显式 token 特征移到潜空间：

1. 潜空间映射：通过轻量级路由网络将 token 映射到潜空间表示
2. 聚类分配：基于潜空间中的聚类结构分配 Expert，每个 Expert 对应一个聚类中心
3. 软路由：使用 softmax 温度控制实现软分配，避免硬选择的震荡

优势：

• 路由更稳定：潜空间表示对输入噪声更鲁棒，相似 token 更可能被分配到相同 Expert
• 负载更均：潜空间聚类天然平衡负载，避免热门 Expert 过载
• 训练更稳：潜空间的连续性使路由梯度更平滑

三、超长上下文的挑战

在 Kimi K3 的 1M token 上下文场景下，路由面临额外挑战：

• 计算开销：1M token 的路由决策如果是 O(n)，计算量巨大
• 上下文依赖：长距离 token 间的路由一致性难以保证
• Expert 容量：超长上下文需要更多 Expert 参与处理

Stable LatentMoE 的解决方案是将路由复杂度降至 O(1)——每个 token 独立路由，不依赖全局上下文信息。潜空间表示已经编码了足够的语义信息，无需额外的上下文交互即可完成路由决策。

四、实践意义

对于模型架构师，选择路由策略需要考虑：

• 上下文长度：<32K 可用传统 top-k，>128K 建议潜空间路由
• Expert 数量：<8 个 Expert 路由稳定性问题不明显，>32 个 Expert 需要更精细的路由策略
• 训练资源：潜空间路由需要额外的路由网络训练，但整体训练稳定性更好