Disaggregated Inference（分离式推理）
Disaggregated Inference把 prefill 和 decode 分到不同硬件
亦作、亦称：分离式推理 · Disaggregated Inference · Prefill-Decode Separation
Disaggregated Inference 将 prefill 与 decode 分到不同硬件执行——AI 推理从单一加速器走向结构性分裂（poolId P-312）。
核心
Prefill 是计算密集型，Decode 是内存密集型+延迟敏感型。分离后 prefill 用高 FLOPS 硬件，decode 用高带宽低延迟硬件。
常见误解
日常交流中容易听到的简化说法，未必准确，但能帮助理解误解从何而来。
- 「把 prefill 和 decode 分到不同硬件」
- 「推理硬件的结构性分裂」
相关术语
和本术语关联紧密的其他词条，便于串联理解。
🎯 考点练习
含该术语的高频面试题，含标准答案与追问。
- 高级系统设计查看详解 →
解释 Disaggregated Inference 的 prefill/decode 分离原理及硬件选型权衡
Disaggregated Inference 将 LLM 推理的 prefill（计算密集型）和 decode（内存密集型+延迟敏感型）分配到不同硬件。Prefill 用高 FLOPS 硬件（GPU/LPU），decode 用高带宽低延迟硬件（HBM/LPU）。OLIX DX-1 $312M B 轮验证专用 decode 芯片商业可行性。
- 高级系统设计查看详解 →
P/D 分离架构的调度策略设计：在 Prefill 算力利用率 >80%、Decode 内存利用率 <70%、网络带宽 100GB/s 约束下如何最小化 TPOT？何时应回退到 co-located 架构？
vLLM 在 GLM-5.2 B300 NVFP4 部署中通过 PD 分离实现 TPOT 从 40ms 降至 17ms（vllm.ai 2026-07-23 官方博客）。本题给定三条硬约束（Prefill 算力利用率 >80%、Decode 内存利用率 <70%、网络带宽 100GB/s），要求候选人设计调度策略最小化 TPOT，并判断何时应回退到 co-located 架构。核心考察点：(1) KV Cache 传输延迟与计算延迟的联合建模；(2) 速率匹配的调度实现（请求级路由、动态伸缩、KV 感知路由）；(3) 约束条件的物理含义与冲突检测；(4) co-located 回退的判据（流量规模、互连带宽、序列长度分布、运维成熟度）。
- 高级开放查看详解 →
为什么融资正在取代芯片供应，成为 AI 基础设施扩张的最大障碍？
考察候选人能否从算力供需、资本结构与部署形态三个层面解释 AI 基础设施瓶颈的迁移：从「买不到 GPU」到「融不到钱」，以及这对推理基础设施选型（每瓦 token、模块化部署）的含义。
- 中级概念查看详解 →
Samsung zHBM 与传统 HBM 架构的核心区别是什么？它试图解决什么问题？
考察候选人是否理解 HBM 从「侧面平铺」到「垂直堆叠」的架构变化：互连距离、带宽密度、封装面积三个维度的差异，以及 zHBM 作为概念模型的成熟度边界。
延伸阅读
从知识库精选 2 篇文章，帮助深入理解该术语。
- 1
Disaggregated Inference：AI 推理硬件的预填充与解码分离革命
2026 年 7-8 月，AI 推理基础设施正经历一场结构性分化：Disaggregated Inference（分离式推理）从学术概念走向产业主流。其核心思想是将推理的两个物理阶段——计算密集的预填充（prefill）和延迟敏感的解码（decode）——分配到不同类型的硬件上执行。NVIDIA 将 GPU 与 LPU 配对，AMD 与 Cerebras 结合高吞吐系统与晶圆级解码，Intel 聚焦编排层，而初创公司 OLIX 以 $312M B 轮融资押注专用 decode 芯片 DX-1。本文从架构原理、硬件选型权衡、产业格局、对中国 AI 基础设施的启示四个维度系统分析这场推理革命。
- 2
企业级 LLM 推理基础设施架构：从 Netflix 自研实践到推理系统设计原则
当企业从'调用第三方 API'走向'自研推理服务'，一套企业级 LLM 推理基础设施就成了核心竞争力。本文以 Netflix 公开披露的自研 LLM 推理服务为切入点，系统讲解企业级推理基础设施的分层架构、核心技术（连续批处理、KV Cache、推测解码）、容量规划与成本优化，以及自建 vs 托管的决策框架。
外部参考
维基百科：查看「Disaggregated Inference」词条本页内容为本站原创撰写；维基百科链接仅作延伸参考。