Inference Engine（推理引擎）

推理引擎是大模型从实验室走向生产应用的关键桥梁，决定着模型服务的速度、成本与并发能力。选择合适的推理引擎，往往比调参更能直接影响线上体验与基础设施开销。

推理引擎（Inference Engine）是将训练完成的模型部署为可用服务的核心运行时组件。

• 训练 vs 推理：训练阶段关注梯度更新与参数收敛；推理阶段关注将输入快速映射到输出，两者工程栈截然不同。
• 职责范围：加载模型权重、分配显存、接收请求、执行前向传播、管理并发、返回结果。
• 历史沿革：最早的推理引擎是 1970–80 年代专家系统中的规则推理组件（如 MYCIN），后随神经网络兴起演化为张量计算运行时（TensorFlow Serving、TorchServe），LLM 时代又进一步发展为专注 KV Cache 与批处理调度的现代 Serving Engine。
• 核心指标：TTFT（首 Token 延迟）、TPS（每秒 Token 吞吐）、GPU 利用率、每千 Token 成本。

现代 LLM 推理引擎围绕以下核心机制运转：

• KV Cache 管理：将注意力机制产生的 Key/Value 矩阵缓存到显存，避免重复计算；PagedAttention 借鉴操作系统分页思想，将 KV Cache 拆分为固定大小的「页」，大幅减少显存碎片。
• Continuous Batching（连续批处理）：不等待一批请求全部完成，而是动态将新请求插入正在执行的批次，显著提升 GPU 利用率。
• Speculative Decoding（推测解码）：用轻量草稿模型快速生成候选 Token，再由主模型并行验证，在不损失精度的前提下大幅降低延迟。
• 张量并行 / 流水线并行：将模型权重分布到多张 GPU，支持超大参数规模模型的部署。
• 量化推理：将权重精度压缩至 INT8/INT4/FP8，减少显存占用与计算量。

按定位与优化重点，现代推理引擎可分为以下几类：

• 通用高并发型：vLLM（UC Berkeley，2023）——PagedAttention + Continuous Batching，社区活跃，兼容性广；SGLang（2024）——支持结构化输出与前缀缓存，多轮对话效率突出。
• 硬件深度优化型：TensorRT-LLM（NVIDIA）——深度融合 CUDA 算子，在 NVIDIA GPU 上吞吐最优；MLC LLM——面向移动端与多硬件后端。
• 本地轻量型：llama.cpp——纯 C++ 实现，支持 CPU 及消费级 GPU；Ollama——基于 llama.cpp 的一键本地部署封装。
• 云托管型：AWS Bedrock、Azure AI Foundry、Google Vertex AI 等，屏蔽底层引擎细节，按需付费。

推理引擎广泛应用于各类 AI 产品的后端服务层：

• 对话与问答：ChatBot、客服助手，对 TTFT 和并发吞吐要求高。
• 代码生成与补全：IDE 插件（如 GitHub Copilot 后端），对低延迟（< 200 ms）要求极严。
• RAG（检索增强生成）：结合向量检索，推理引擎需处理长上下文与 Prefix Cache。
• 批量离线推断：文档摘要、数据标注，侧重吞吐量最大化而非低延迟。
• 端侧部署：手机/边缘设备，使用量化轻量引擎（llama.cpp/MLC LLM）。

推理引擎与训练框架（如 PyTorch、DeepSpeed）在设计目标上有根本差异：

• 计算图：训练框架保留反向传播图；推理引擎仅需前向图，并做算子融合优化。
• 内存策略：训练需存储激活值用于梯度计算；推理专注 KV Cache 的高效复用。
• 调度粒度：训练以 Epoch/Step 为单位批量处理；推理以请求为单位，需毫秒级动态调度。
• 精度需求：训练通常使用 BF16/FP32；推理可激进量化至 INT4/FP8 以压缩成本。
• 常见混淆：TorchServe 是通用模型服务框架，而 vLLM/TensorRT-LLM 是专为 LLM 优化的推理引擎，两者层次不同。

在使用和评估推理引擎时，需注意以下局限与误解：

• 误区：推理引擎只是「模型加载器」——实际上批处理调度、显存管理是其核心复杂度所在，选型错误会导致吞吐下降数倍。
• 模型兼容性：并非所有引擎都支持所有架构（如 MoE、多模态）；新模型发布后往往需等待引擎适配。
• 量化精度损失：激进量化（INT4）在长推理链、数学任务上可能产生明显质量下降，需实测评估。
• 硬件绑定：TensorRT-LLM 强依赖 NVIDIA CUDA，跨硬件迁移成本高。
• 运维复杂度：高性能推理引擎的配置（并行策略、调度参数）需要深厚工程经验，非开箱即用。

推理引擎从规则推理到 LLM Serving 经历了三次范式跃迁：

• 1970s：MYCIN/EMYCIN 等专家系统推理引擎，基于符号逻辑与规则链式推导。
• 1990s–2010s：深度学习兴起，出现 TensorFlow Serving（2016）、TorchServe（2020）等通用神经网络推理服务框架。
• 2022：Transformer 规模爆炸，FasterTransformer（NVIDIA）等专为 Transformer 优化的引擎出现。
• 2023：vLLM 发布，PagedAttention 论文（SOSP 2023）成为现代 LLM 推理引擎的重要技术基础；TensorRT-LLM 开源。
• 2024：SGLang、MoonCake 等引入前缀缓存与解耦架构；Prefill/Decode 分离部署成为生产趋势。
• 2025–2026：推理引擎向多模态、长上下文（1M+ tokens）、Agent 工作流调度延伸，MCP 协议集成逐步普及。