Expert Parallelism(专家并行)
Expert ParallelismMoE 模型跨 GPU 分发专家的通信策略
亦作、亦称:专家并行 · Expert Parallelism · EP · MoE 专家并行
Expert Parallelism(EP)是 MoE 模型将不同专家分布到不同 GPU 的并行策略。MoonEP 库提供完美平衡的通信优化,是 Kimi K3 训练配套基础设施。
核心
见 glossary.ts 同名条目。Expert Parallelism 是 MoE 训练的关键通信优化,MoonEP 提供完美平衡的专家并行通信库。
常见误解
日常交流中容易听到的简化说法,未必准确,但能帮助理解误解从何而来。
- 「MoE 模型跨 GPU 分发专家的通信策略」
- 「让 MoE 训练不卡在通信上」
相关术语
和本术语关联紧密的其他词条,便于串联理解。
🎯 考点练习
含该术语的高频面试题,含标准答案与追问。
- 初级系统设计查看详解 →
如何处理系统设计面试题?
先澄清功能与非功能需求并估算 QPS/存储;再给高层架构;然后深入关键路径(数据模型、缓存、一致性);全程沟通 trade-off 与扩展方案。
- 中级场景高频查看详解 →
企业 AI 编码工具选型应考虑哪些维度?结合 Disney 弃用 Copilot 案例分析。
2026 年 7 月 Disney 弃用 GitHub Copilot 转投 OpenAI Codex,但内部仍高频使用 Claude。企业选型需考虑产品形态、执行环境、安全合规、总拥有成本四个维度,多工具组合是大型企业的务实策略。
- 中级概念查看详解 →
对比 S3 Vectors、SQL Server DiskANN 和 DynamoDB 原生向量搜索的架构差异与适用场景
考察候选人对「数据库原生向量搜索」这一 2026 年架构迁移趋势的理解:DiskANN 等磁盘级 ANN 算法如何让传统数据库内置向量检索,与独立向量库如何取舍,以及 S3 Vectors / SQL Server 2025 / DynamoDB 等方案的定位差异。
- 高级系统设计高频查看详解 →
解释 AI Agent Harness 的概念。Harness 架构中哪些设计决定了编码 Agent 的 Token 效率?
考察候选人对 Agent Harness(智能体编排层)的理解:模型能力与产品体验之间的可靠中间层,以及为什么 Harness 架构(而非底层模型)更决定编码 Agent 的 Token 效率——Harness Tax 的来源与降低手段。
延伸阅读
从知识库精选 1 篇文章,帮助深入理解该术语。
外部参考
维基百科:查看「Expert Parallelism」词条本页内容为本站原创撰写;维基百科链接仅作延伸参考。
