LLM 推理系统优化：PagedAttention、KV Cache 与生产部署

大语言模型的推理成本是 AI 行业从实验走向生产时面临的最大技术壁垒。一个参数量在 70B 的模型，FP16 精度下需要约 140GB GPU 显存——这意味着即使是一张 H100（80GB 显存）也无法单独加载它。而推理时的内存带宽瓶颈往往比计算瓶颈更加致命：生成一个 token 需要从显存中读取全部权重，计算量却只有 O(隐藏维度乘以词汇表大小)。这意味着 GPU 的大部分算力被浪费在等待数据传输上，而非实际计算。

推理优化的核心目标有三个：第一，降低显存占用——让更大的模型跑在更小的硬件上；第二，提高吞吐量——让同一块 GPU 每秒处理更多请求；第三，降低延迟——让用户等待更短的时间就得到响应。这三个目标往往相互制约，需要在具体场景中找到平衡点。

LLM 推理的特殊性在于它与传统的 CNN/RNN 推理有本质区别。CNN 推理是计算密集型的——一张图片前向传播涉及大量矩阵乘法，GPU 的算力可以充分释放。但 LLM 生成是内存带宽密集型的——每生成一个 token，需要从显存中读取全部模型权重（可能几十 GB），而对应的计算量相对较小。这就导致 GPU 的 TFLOPS 再高也没用，因为瓶颈在内存带宽（GB/s）上。理解这一点，才能理解为什么量化和 KV Cache 优化比单纯的计算加速更重要。

2025 到 2026 年的技术进展：NVIDIA Model-Optimizer 统一库的发布整合了量化、剪枝、蒸馏、推测解码等 SOTA 技术，并可直接对接 TensorRT-LLM 和 vLLM 等部署框架。同时，vLLM 的 PagedAttention 技术将吞吐量提升了 2 到 4 倍，推测解码将推理速度提升了 2 到 3 倍。这些技术的组合使用，已经能够将 LLM 推理成本降低 60% 到 80%。

量化是 LLM 推理优化中最成熟、应用最广泛的技术。它的核心思想很简单：将模型权重从高精度数据类型（FP16 或 BF16，每个数字 16 位）转换为低精度类型（INT8 为 8 位，INT4 为 4 位），从而将显存占用减少 2 到 4 倍，同时保持模型质量在可接受范围内。

PTQ 后训练量化是最直接的量化方式——不需要重新训练模型，只需要用少量校准数据（通常几百到几千条样本）统计每层权重的分布，然后确定量化的缩放因子和零点。PTQ 的优点是成本极低（几小时到一天即可完成），缺点是精度损失不可控——对于某些对精度敏感的层（如注意力层的 QKV 投影），INT8 量化可能导致明显的质量下降。

QAT 量化感知训练通过在训练过程中模拟量化误差，让模型学会适应低精度运算。具体做法是：在前向传播中，权重和激活值经过一个模拟量化函数（模拟 INT8 或 INT4 的舍入误差），但反向传播时使用直通估计器绕过不可导的量化操作。QAT 的优点是精度损失极小（通常不到 1%），缺点是需要重新训练模型，计算成本极高。

GPTQ 算法是针对 LLM 的特殊量化方法，由 Frantar 等人在 2023 年提出。它的核心创新是逐层贪心量化：从输入层到输出层依次量化每一层，每量化一层就用未量化的校准数据重新计算该层的输出，然后用量化后的输出与未量化输出的残差来更新下一层的量化参数。这种方式将量化误差逐层传播和补偿，使得 INT4 量化后的质量损失极小——在大多数 NLP 任务上，GPTQ INT4 与 FP16 的质量差距不到 2%。

AWQ 激活感知量化由 MIT 和 Tsinghua 团队在 2023 年提出，解决了一个关键洞察：并非所有权重都同样重要。在 LLM 中，只有约 1% 到 5% 的权重（对应于那些激活值特别大的通道）对模型输出有显著影响。AWQ 通过识别这些"重要权重"并对它们使用更高的量化精度（或保留 FP16），同时对其余权重使用更激进的量化（INT4），实现了比均匀量化更好的质量-效率权衡。

GGUF/llama.cpp 生态是开源社区最活跃的量化部署方案。GGUF 格式支持从 Q2（2 位量化）到 Q8（8 位量化）的多级别选择，并通过 llama.cpp 的推理引擎实现了 CPU 和 GPU 混合推理。对于资源有限的用户，GGUF Q4 是在消费级硬件上运行 70B 模型的可行方案——70B 模型的 Q4 量化大约需要 35GB 显存/内存，可以在单张 RTX 4090（24GB）加系统内存的混合模式下运行。

如果说量化是将权重的精度降低，那么剪枝就是直接移除那些对模型输出贡献微乎其微的权重或神经元。剪枝的核心理念源自生物学：人脑中的神经元并非全部参与每一次思考——只有与当前任务相关的神经元被激活。类似地，LLM 中也存在大量"冗余"参数。

非结构化剪枝是最直观的剪枝方式：将权重矩阵中绝对值小于某个阈值的元素直接设为零。这种方法简单有效，因为接近零的权重对模型输出的贡献本来就可以忽略不计。但非结构化剪枝产生的是稀疏矩阵——大部分权重为零，但非零元素的位置是随机的。稀疏矩阵的计算在传统 GPU 上反而可能更慢，因为 GPU 的矩阵乘法针对密集矩阵做了极致优化。稀疏模型需要专门的稀疏推理引擎才能发挥速度优势，而目前这类引擎的成熟度还不足。

结构化剪枝解决了一个关键问题：剪掉的参数必须是 GPU 能够高效跳过的。具体来说，结构化剪枝不是移除单个权重元素，而是移除整个注意力头、整个 MLP 层、或整个神经元。这样剪枝后的模型仍然是一个完整的、密集的模型——只是规模更小。例如，移除 10% 的注意力头后，模型的宽度减少了 10%，但每一层的计算仍然是密集矩阵乘法，GPU 可以高效执行。

LLM-Pruner 方法由多个研究团队独立提出，核心流程分为三步：第一，重要性评估——通过梯度信息、激活值分布或输出敏感度来评估每个组件（注意力头、MLP 神经元）的重要性；第二，选择剪枝目标——选择重要性最低的一定比例的组件；第三，微调补偿——剪枝后用少量数据微调模型，补偿被移除组件造成的精度损失。在 Llama 2-7B 上的实验表明，结构化剪枝移除 25% 的参数后，通过微调可以恢复到原始模型 95% 以上的质量。

剪枝与量化的组合是生产实践中最强大的优化策略。先通过结构化剪枝减少模型的参数量（比如从 70B 减少到 50B），再对剩余参数进行 INT8 或 INT4 量化，可以达到双重压缩效果——显存占用减少 4 到 6 倍，同时保持可接受的质量。NVIDIA Model-Optimizer 库已经支持这种组合优化流程。

剪枝的挑战：结构化剪枝的粒度选择是一个关键难题。剪得太粗（比如移除整个层），模型质量急剧下降；剪得太细（比如移除单个神经元），加速效果不明显。在实践中，注意力头的剪枝通常是最安全的——因为注意力头之间有一定的冗余性，移除部分头对整体注意力的影响相对可控。

知识蒸馏的核心理念：一个经过充分训练的大模型（教师模型）不仅学到了从输入到正确输出的映射，还学到了输出概率分布中蕴含的丰富信息——比如"猫"和"狗"的相似度比"猫"和"汽车"更高。蒸馏的目标是让一个小模型（学生模型）不仅学会正确的输出，还学会教师模型的输出分布——从而获得更好的泛化能力。

LLM 蒸馏的经典方法由 Hinton 等人在 2015 年提出，核心是温度软化：在计算 Softmax 时，将 logits 除以一个大于 1 的温度值 T，使得输出概率分布更加平滑（不那么集中在最高概率的类别上）。这样学生模型就能从教师模型的"次优选择"中学习到更多信息——比如教师模型认为"猫"的概率是 0.6，"狗"是 0.3，"汽车"是 0.1，这些信息对学生模型的训练非常有帮助。

MiniLM 系列是 LLM 蒸馏的标志性工作。MiniLM 通过蒸馏 BERT 系列大模型，将参数量减少了 3 到 6 倍，同时保持了 95% 到 98% 的质量。它的关键创新在于自注意力层的蒸馏——不仅蒸馏最终的输出 logits，还蒸馏教师模型每一层注意力矩阵和值向量。这是因为注意力矩阵捕获了词与词之间的关系，是语言理解的核心。

针对生成式 LLM 的蒸馏面临独特挑战。与 BERT 这样的编码器不同，生成式 LLM（如 GPT、Llama）是自回归的——每一步的输入依赖于上一步的输出。这导致蒸馏时的暴露偏差问题：教师模型在训练时看到的是真实的上下文，而学生模型在生成时看到的是自己上一步的（可能有错误的）输出。解决这个问题需要课程学习——先在教师生成的序列上蒸馏，然后逐步切换到学生自己的生成。

DistilLlama 和 TinyLlama是 2024 到 2025 年社区最活跃的蒸馏项目。DistilLlama 将 Llama 2-7B 蒸馏到 3B 和 1B 参数，在大多数 NLP 任务上保持了原始模型 90% 以上的能力。TinyLlama 更进一步，将 1.1B 参数的模型预训练到 3 万亿 token，使其在多个基准测试中接近 Llama 2-7B 的水平。这些项目的意义在于：小模型的推理成本可以比大模型低 5 到 10 倍，使得 LLM 在边缘设备和消费级硬件上的部署成为可能。

蒸馏的局限性：学生模型的能力上限受限于其容量。一个 1B 参数的模型无论如何蒸馏，都无法达到 70B 模型的复杂推理能力。蒸馏更适合那些教师模型的能力远超任务需求的场景——比如用一个 70B 的模型蒸馏出一个 7B 的模型来做文本分类，效果可能非常好。但如果你需要 70B 模型的复杂推理能力，蒸馏不是解决方案。

模型级优化（量化、剪枝、蒸馏）只能减少模型本身的计算量和内存占用。系统级优化解决的是另一个维度的问题：如何更高效地管理 GPU 资源，让更多请求共享同一块 GPU。

PagedAttention 是 vLLM 框架的核心创新，灵感来自操作系统的虚拟内存分页机制。在传统的 LLM 推理框架中，每个请求的 KV Cache（存储历史 token 的注意力键值对）需要连续的显存空间。这导致了严重的显存碎片化——就像在硬盘上频繁创建和删除文件后会出现碎片一样。PagedAttention 将 KV Cache 分割为固定大小的块（block），每个块可以存储在显存的任意位置，通过页表映射到逻辑上的连续序列。这样，显存利用率从 20% 到 40% 提升到 80% 以上，吞吐量提升了 2 到 4 倍。

连续批处理 Continuous Batching解决了传统批处理的根本缺陷。传统批处理要求一批请求同时开始和结束——这意味着如果有一个请求很快完成，GPU 必须等待其他请求也完成后才能释放资源并开始处理新请求。这就像公交车必须等所有乘客到齐了才出发，到达终点后才下客。连续批处理则像出租车——一个乘客下车后立即接新乘客。具体来说，当某个请求生成完毕（到达 EOS token）时，系统立即从它的 batch 槽位中移除，并插入队列中的下一个请求。这样 GPU 始终处于满载状态，不会有空闲的 batch 槽位。

推测解码 Speculative Decoding利用了 LLM 生成过程中的一个观察：模型生成的大部分 token 都是可预测的。推测解码的思路是用一个小的草稿模型（draft model，比如 1B 参数）快速生成 3 到 5 个候选 token，然后用大模型（target model，比如 70B 参数）一次性验证这些候选。如果草稿模型猜对了，大模型只需做一次前向传播就能接受多个 token，从而将推理速度提升 2 到 3 倍。如果猜错了，大模型回退到正确的 token 并重新开始推测。由于草稿模型的推理成本极低，即使猜测失败也不会造成显著的额外开销。

这三项技术的组合效果：PagedAttention 让 GPU 显存利用更充分（更多并发请求），连续批处理让 GPU 算力不闲置（更高的吞吐量），推测解码让每个 token 的生成更快（更低的延迟）。在生产环境中，这三项技术的组合使用可以将 LLM 服务的总吞吐量提升 5 到 10 倍。

vLLM vs TensorRT-LLM是当前最主流的两大推理框架。vLLM 的优势在于开源社区活跃、支持模型广泛、PagedAttention 是其原生特性，适合快速迭代和模型实验。TensorRT-LLM 的优势在于NVIDIA 官方优化、INT8/FP8 量化原生支持、与 GPU 硬件深度整合，适合追求极致性能的生产部署。两者的选择取决于具体需求：如果追求灵活性和社区支持，选 vLLM；如果追求极致性能和 NVIDIA 生态整合，选 TensorRT-LLM。

KV Cache 是大语言模型推理中最大的内存占用来源之一。在自回归生成过程中，为了避免重复计算已生成 token 的注意力，推理框架会将每个 token 的 Key 和 Value 向量缓存起来。对于一个 70B 参数的模型，如果批量大小为 32、上下文长度为 4096 tokens、隐藏维度为 8192、层数为 80，KV Cache 的显存占用约为：32 乘以 4096 乘以 8192 乘以 2（K 和 V）乘以 80（层数）乘以 2 字节（FP16）约等于 13.7GB。注意，这是每个 batch 的 KV Cache 占用——如果考虑更长的上下文（比如 32K tokens），这个数字会增长到 100GB 以上。

KV Cache 的管理策略直接影响推理效率。最简单的策略是预分配——为每个请求预分配最大上下文长度的 KV Cache 空间。这保证了不会出现显存不足，但导致了严重的浪费——大多数请求不会用到最大上下文长度。动态分配根据实际使用的上下文长度来分配 KV Cache，节省显存但需要处理碎片化问题。vLLM 的 PagedAttention 就是动态分配的高级实现。

KV Cache 压缩是另一个重要方向。KV Cache 量化将缓存的 K 和 V 向量从 FP16 压缩到 INT8 甚至 INT4，可以将 KV Cache 的显存占用减少 2 到 4 倍。研究表明，KV Cache 的量化精度可以比模型权重的量化精度更低（INT4）而不引起显著的质量下降——因为 KV Cache 中的值已经经过了注意力 Softmax 的归一化，分布更加集中。

KV Cache 共享在多轮对话和代码补全等场景中特别有效。如果多个请求共享相同的前缀（比如系统提示词或代码文件的前半部分），它们的 KV Cache 的前缀部分可以只计算一次、多次复用。这种前缀缓存技术可以将多轮对话场景的推理延迟降低 30% 到 50%。

上下文窗口扩展的 KV Cache 挑战：当上下文长度从 4K 扩展到 128K 甚至 1M tokens 时，KV Cache 的显存占用成为真正的瓶颈。滑动窗口注意力（如 Mistral 使用的方法）和 RoPE 位置编码的 NTK 感知插值（如 Llama 使用的方法）通过限制或优化注意力计算范围，使得超长上下文成为可能，但都需要对 KV Cache 管理进行特殊处理。

面对如此多的优化技术，生产环境中的 LLM 推理优化应该遵循系统化的决策流程，而不是盲目尝试每一种技术。

第一步：明确你的约束和目标。你的硬件是什么（GPU 型号、显存大小、内存带宽）？你的延迟要求是什么（首 token 延迟、生成速度）？你的吞吐量要求是什么（QPS、并发请求数）？你的质量容忍度是什么（可以接受多少质量下降）？这些约束决定了优化方案的选择空间。

第二步：选择基线框架。对于大多数场景，vLLM 是推荐的起点——它内置了 PagedAttention、连续批处理和前缀缓存，且支持绝大多数开源模型。如果你的硬件是 NVIDIA GPU 且追求极致性能，TensorRT-LLM 是替代选择。

第三步：应用模型级优化。在框架选择之后，根据质量容忍度选择量化级别：如果质量要求严格，使用 FP16 或 BF16；如果可以接受微小质量损失，使用 AWQ INT4 量化；如果需要极致压缩，尝试 GPTQ INT4 或 GGUF Q4。量化应该是第一步模型级优化，因为它实现简单、效果显著、兼容性最好。

第四步：应用系统级优化。启用 PagedAttention（vLLM 默认启用）、连续批处理（vLLM 默认启用）、推测解码（如果需要更低延迟）。系统级优化通常不会降低模型质量，因此优先级高于更激进的模型级优化。

第五步：评估组合效果。在目标硬件和目标负载下，测量优化前后的吞吐量、延迟和显存占用。如果仍有优化空间，尝试剪枝（移除不重要的注意力头）或蒸馏（切换到更小的模型）。

第六步：持续监控和优化。生产环境的负载是动态变化的——高峰期的 QPS 可能是低谷期的 10 倍。部署自动化监控，追踪 GPU 利用率、显存使用率、请求队列长度和端到端延迟。根据监控数据动态调整批处理大小、量化策略和模型选择。

优化技术的优先级总结：对于大多数生产场景，推荐按以下顺序应用优化——vLLM 框架（系统级基线）、AWQ INT4 量化（模型级压缩）、PagedAttention 和连续批处理（系统级吞吐）、推测解码（系统级延迟）、剪枝（可选，进一步压缩）、蒸馏（可选，切换到小模型）。这套组合拳可以将推理成本降低 60% 到 80%，同时保持模型质量在可接受范围内。

理论讲完了，现在用实际代码演示如何将优化技术落地。第一段代码展示使用 vLLM 部署一个 LLM 推理服务，第二段代码展示使用 AutoAWQ 对模型进行 INT4 量化。

vLLM 是目前最流行的开源 LLM 推理框架，内置 PagedAttention 和连续批处理。安装后只需一行命令即可启动服务，API 完全兼容 OpenAI 格式——这意味着你可以用 vLLM 替换 OpenAI API 而无需修改客户端代码。

AutoAWQ 是实现 AWQ 激活感知量化的工具库。它自动识别模型中的重要权重通道并保留更高精度，其余权重压缩到 INT4。量化后的模型显存占用减少约 4 倍，质量损失通常不到 2%。

# 第一步：安装 vLLM
pip install vllm

# 第二步：启动推理服务（以 Llama 3 8B AWQ INT4 量化模型为例）
python -m vllm.entrypoints.openai.api_server \
    --model hugging-quants/Meta-Llama-3.1-8B-Instruct-AWQ-INT4 \
    --tensor-parallel-size 1 \
    --max-model-len 8192 \
    --gpu-memory-utilization 0.9 \
    --enable-prefix-caching \
    --host 0.0.0.0 \
    --port 8000

# 服务启动后，API 端点在 http://localhost:8000/v1
# 完全兼容 OpenAI API 格式

# 使用 OpenAI SDK 调用本地 vLLM 服务
from openai import OpenAI

client = OpenAI(
    api_key="not-needed",  # 本地服务不需要 API key
    base_url="http://localhost:8000/v1"
)

response = client.chat.completions.create(
    model="hugging-quants/Meta-Llama-3.1-8B-Instruct-AWQ-INT4",
    messages=[
        {"role": "system", "content": "你是一个 AI 助手。"},
        {"role": "user", "content": "解释什么是 PagedAttention？"}
    ],
    max_tokens=512,
    temperature=0.7
)
print(response.choices[0].message.content)

# AWQ 量化模型的性能对比（参考值）：
# - 显存占用：FP16 约 16GB → AWQ INT4 约 4GB
# - 吞吐量：AWQ INT4 比 FP16 提升约 2-3 倍（内存带宽瓶颈减轻）
# - 质量损失：大多数 NLP 任务 < 2%

随着上下文窗口从 128K 扩展到 1M 甚至更长，KV Cache 的显存占用成为推理优化的核心瓶颈之一。一个 70B 参数模型在 1M 上下文下的 KV Cache 需要约 64GB 显存——仅这一项就超过单张 H100 的 80GB 显存容量的 80%。这意味着超长上下文场景下，推理优化不能只关注量化和剪枝，还必须解决 KV Cache 的系统级问题。

位置编码与推理优化的交叉点：RoPE 位置编码的质量直接影响长上下文下的注意力计算效率。当使用 NTK 插值或 YaRN 外推来扩展上下文时，**注意力分数的分布会发生变化——某些原本应该被关注的 token 可能被「稀释」掉，导致模型需要更大的 KV Cache 来保持注意力质量。**这反过来增加了显存压力。

长上下文推理的优化策略：

分层 KV Cache 管理：将 KV Cache 分为「热」（最近 4K token）、「温」（4K 到 32K token）、「冷」（32K 以上 token）三层。热层保留在 GPU 显存中（FP16 精度），温层在 GPU 上做 INT8 量化，冷层换出到 CPU 内存或 SSD。这种方案可以在不损失质量的前提下，支持 1M 以上的上下文长度。

选择性注意力稀疏化：在超长上下文中，并非所有 token 对都需要计算注意力。通过一种「重要性评分」机制（基于 token 的注意力权重历史分布），只计算与当前生成最相关的 top-K 个 token 的注意力。这可以将注意力复杂度从 O（N 平方）降低到 O（N 乘以 K），其中 K 远小于 N。

上下文窗口与量化的协同优化：对于超长上下文场景，KV Cache 的量化精度可以比模型权重更低（INT4 甚至 INT2），因为注意力分数经过 Softmax 归一化后，微小的精度差异会被平滑掉。研究表明，KV Cache INT4 量化 + 模型权重 INT8 量化的组合，可以在 1M 上下文下将显存占用降低 6 倍以上，同时保持质量损失不到 1%。

2026 年的新趋势：NVIDIA Blackwell 架构的 B200 GPU 配备了 192GB HBM3e 显存，专门针对长上下文 LLM 推理做了优化。同时，vLLM 社区正在开发原生支持 1M 上下文的 PagedAttention 版本，结合 YaRN 外推和分层 KV Cache 管理，使得在单张 GPU 上运行 1M 上下文的 70B 模型成为可能。