NVIDIA TwoTower扩散语言模型：2.42倍吞吐量提升如何终结自回归时代

读完本文，你将获得：

1. 一个核心判断：LLM 推理正在从「逐 Token 串行解码」进入「块级并行去噪」时代——NVIDIA TwoTower 证明扩散语言模型可以在不牺牲质量的前提下实现 2.42× 吞吐量提升，这意味着相同 GPU 集群可以服务 2.4 倍更多并发请求
2. 一套架构理解：TwoTower 的「双塔分离」设计——冻结的自回归塔处理上下文、训练的扩散塔专注去噪——为什么这种职责解耦是关键创新，以及它如何让模型无需重训练即可升级
3. 一份选型指南：AR 模式 vs 扩散模式的完整决策框架——基于你的 GPU 数量、延迟要求、吞吐量需求、模型规模，何时选择哪种模式
4. 一个行业预测：12 个月内主流推理引擎（vLLM、SGLang、TensorRT-LLM）将原生支持扩散解码，推理市场格局将从「三足鼎立」演变为「四极并存」

过去三年，大语言模型的推理优化一直是 AI 工程的核心战场。从 FlashAttention 到 PagedAttention，从 FP8 量化到投机解码（Speculative Decoding），每一次突破都在试图解决同一个问题：自回归解码的串行性。

自回归（Autoregressive, AR）模型的工作方式很简单：每次生成一个 Token，把新 Token 拼接到上下文，再生成下一个。这个过程无法并行——第 N 个 Token 的生成依赖前 N-1 个 Token 的结果。这意味着即使你有 8 块 H100 GPU，在 Decode 阶段也只能串行地一个接一个生成 Token。

这个串行瓶颈的实际代价是什么？ 用数字说话：

据 NVIDIA 官方 Hugging Face 页面（2026-07-01）的数据，Nemotron-3-Nano-30B-A3B 自回归基线在标准配置下的吞吐量约为每前向传播（TPF）1 个 Token。这意味着生成 1000 个 Token 需要 1000 次前向传播。在 H100 GPU 上，每次前向传播约 50-100ms（取决于 batch size），总生成时间约 50-100 秒。

对于推理服务商来说，这个速度直接决定了：

• 单 GPU 能服务多少并发用户——吞吐量越低，每用户成本越高
• 长文本生成的延迟——生成 4000 Token 的回答需要 200-400 秒
• 实时交互的可能性——流式输出虽然缓解了感知延迟，但底层生成速度没有变

过去两年，行业主要通过三条路径突破这个瓶颈：

1. 投机解码（Speculative Decoding）：用小模型快速生成候选 Token，大模型一次性验证多个 Token。Google 在 2023 年论文中提出，可将吞吐量提升 2-3×。但投机解码的加速比受限于「草稿模型质量」——如果小模型和大模型的分布差异大，接受率会很低。
2. 连续批处理（Continuous Batching）：Orca 和 vLLM 引入的 In-Flight Batching 技术，在 Decode 阶段动态插入新请求，提高 GPU 利用率。这提升了系统级吞吐量，但不改变单请求的生成速度。
3. 量化与编译优化：TensorRT-LLM 通过内核融合、FP8/FP4 量化、Tensor Core 加速，在硬件层面榨取性能。据 NVIDIA TensorRT-LLM 文档（2026-06），TensorRT-LLM 在 H100 + FP8 条件下峰值可达 10,000+ output tokens/s，但这需要数周的编译调优。

这三条路径都在「自回归范式内部」做优化。而 NVIDIA 在 2026 年 7 月发布的 Nemotron-Labs-TwoTower 选择了一条不同的路：彻底改变解码方式——从逐 Token 串行变为块级并行。

这不是渐进式优化。这是范式转换。

要理解 TwoTower 的创新，先要理解离散扩散语言模型（Discrete Diffusion Language Model）的基本原理。

扩散模型的思想源自图像生成领域（DDPM, 2020）。核心思路是：训练一个模型逐步从纯噪声中「去噪」出目标数据。在图像领域，这已经是主流范式（Stable Diffusion、DALL-E 3 等）。但在文本领域，扩散模型一直面临一个根本困难：文本是离散的。

图像像素是连续的——你可以从 50% 噪声逐步去噪到清晰图像，中间状态有明确定义。但文本 Token 是离散的——一个词要么是「猫」要么是「狗」，没有「50% 猫 + 50% 狗」的中间状态（在 Token 空间中）。这导致扩散模型在文本领域的表现长期落后于自回归模型。

离散扩散语言模型通过一种巧妙的方式绕过这个问题：不是逐步去噪连续值，而是逐步「揭示」确定的 Token。

具体机制可以拆成四步：

1. 初始化：为要生成的 N 个位置分配 MASK 标记（或随机 Token）
2. 并行去噪：模型同时查看所有 N 个位置，为每个位置预测一个 Token 分布
3. 置信度提交：选择置信度最高的 K 个位置，将其预测 Token 「锁定」（不再修改）
4. 迭代精炼：对剩余 N-K 个位置重复步骤 2-3，直到所有位置都被锁定

关键区别在于：每次前向传播同时处理多个 Token 位置，而不是一个。如果 block_size=16，每次前向传播可以同时确定 16 个 Token 中的多个，这就是吞吐量提升的来源。

但之前的离散扩散 LLM 有一个结构性问题：同一个网络同时承担两个任务——

• 理解已经确定的上下文 Token（上下文建模）
• 为未确定的位置预测 Token（去噪）

据 MarkTechPost（2026-07-01）的分析：「之前的扩散语言模型让一个网络同时做两件事——表示已提交的干净 Token 和去噪被损坏的 Token。强制一个网络同时做这两件事，限制了它在两个任务上的表现。」

这就是 TwoTower 要解决的核心问题。

Nemotron-Labs-TwoTower 的核心创新可以用一句话概括：把上下文建模和去噪预测分到两个独立的网络塔中。

据 NVIDIA Hugging Face 模型页（2026-07-01）的技术文档，TwoTower 的架构由两个塔组成：

塔 1：上下文塔（Context Tower）——这是冻结的 Nemotron-3-Nano-30B-A3B 自回归骨干网络。它的作用是处理已经确定的上下文 Token，生成高质量的上下文表示。这个塔在预训练中使用了 25T tokens，拥有 30B 参数（其中活跃参数 3B，采用混合专家 MoE 架构）。关键点：这个塔的参数被冻结——在扩散模式的训练中不更新。

塔 2：去噪塔（Denoiser Tower）——这是一个新训练的扩散去噪网络。它接收上下文塔的输出表示，为未确定的 Token 位置预测分布。去噪塔的训练数据约 2.1T tokens，训练目标是预测被 MASK 的 Token。

这种设计的精妙之处在于：

第一，职责分离带来质量提升。 上下文塔专注于理解已确定的文本，去噪塔专注于预测未确定的 Token。两个网络各司其职，不再互相干扰。据 TechTimes（2026-07-02）的报道，TwoTower 保留了 AR 基线 98.7% 的聚合基准测试质量——这意味着扩散模式几乎没有质量损失。

第二，冻结骨干带来工程便利。 上下文塔是冻结的，意味着：

• 不需要重新训练整个模型（只需训练去噪塔）
• 同一个检查点可以切换 AR 模式和扩散模式
• 已有的 AR 微调（如 RLHF、指令微调）可以直接复用

第三，一个检查点三种模式。 TwoTower 支持三种解码模式：

• 完整扩散模式：上下文塔在 GPU 0，去噪塔在 GPU 1，块级并行解码
• 模拟 AR 模式（Mock-AR）：两个塔都在一个 GPU 上，模拟自回归行为（用于调试和对比）
• 纯 AR 模式：只使用上下文塔，完全跳过扩散，退化为标准自回归解码

这种灵活性让 TwoTower 成为目前最实用的扩散 LLM 实现——你不需要「全有或全无」地切换到扩散模式，可以根据硬件条件和工作负载特征选择最优模式。

值得注意的是，NVIDIA 在 2026 年 5 月还发布了 Nemotron-Labs-Diffusion（NLD）系列模型（3B/8B/14B），这是一个独立的三模式模型家族（支持 AR、扩散、自推测三种解码模式）。据 MarkTechPost（2026-05-20）报道，NLD-8B 在自推测模式下可达 5.99× TPF（对比 Qwen3-8B），二次自推测模式下可达 6.38× TPF。这表明 NVIDIA 在扩散语言模型方向有系统性布局，TwoTower 是其中的重要组成部分。

让我们深入分析 TwoTower reported 的 2.42× 吞吐量提升到底意味着什么。

据 MarkTechPost（2026-07-01）的技术分析，2.42× 的测试条件是：

• 置信度阈值 γ=0.8：只有预测概率超过 0.8 的 Token 才会被锁定
• 块大小 S=16：每次处理 16 个 Token 位置
• 硬件配置：2× NVIDIA H100 80GB GPU（BF16 精度）
• 对比基线：Nemotron-3-Nano-30B-A3B 纯 AR 模式

2.42× 吞吐量的实际含义：

假设你有一个推理集群，使用 100 块 H100 GPU 服务 Llama 3.3 70B 模型。在 AR 模式下，每块 GPU 每秒生成约 50 个 Token。切换到 TwoTower 扩散模式后（每 2 块 GPU 一组），等效吞吐量变为：

• AR 模式：50 块 GPU × 50 Token/s = 2,500 Token/s
• 扩散模式：50 组 × 2.42 × 50 Token/s = 6,050 Token/s

相同硬件，吞吐量提升 142%。 这意味着：

• 相同成本下服务 2.4 倍更多并发用户
• 或者相同用户数下，GPU 成本降低 58%

但 2.42× 不是上限。 如前所述，NVIDIA 的 NLD-8B 在自推测模式下已达 5.99× TPF，二次自推测模式下达 6.38× TPF。这意味着随着 block_size 增大、自推测策略优化，吞吐量提升空间还很大。

成本模型分析：

注：成本估算基于 H100 GPU 租赁价格 $2/GPU·小时，实际价格因云服务商而异。

硬件需求的关键约束：

完整扩散模式需要 2×H100 80GB GPU（约 59GB×2 显存在 BF16 精度下）。据 TechTimes（2026-07-02）的报道，同一个检查点也支持在单块 80GB GPU 上运行 AR 模式。这意味着：

• 双 GPU 环境：使用完整扩散模式，获得最大吞吐量
• 单 GPU 环境：退化为 AR 模式，保持兼容性
• 没有双 GPU 的团队：仍然可以使用模型，只是无法获得扩散加速

这个约束对推理服务商影响不大（它们通常有充足的 GPU），但对独立开发者和中小团队是一个实际限制。

TwoTower 的一个重要特性是同一个检查点支持 AR 和扩散两种模式。但什么时候该用哪种？这不是一个非此即彼的选择，而是取决于你的具体场景。

选择 AR 模式的场景：

1. 单 GPU 环境：扩散模式需要 2×GPU，如果你只有一块 GPU，AR 是唯一选择
2. 极低延迟需求：AR 模式的首 Token 延迟（TTFT）更低，因为不需要多次迭代去噪。如果你的场景是实时聊天机器人，用户对首字延迟敏感（<500ms），AR 模式更合适
3. 短文本生成：生成 50-100 Token 的短回答时，AR 的串行开销很小，扩散的并行优势不明显
4. 需要 KV Cache 复用：AR 模式的 KV Cache 机制成熟（PagedAttention 等），在多轮对话、RAG 等场景中，KV Cache 复用可以显著降低成本。扩散模式目前对 KV Cache 的支持不如 AR 成熟

选择扩散模式的场景：

1. 高吞吐量需求：推理服务商需要同时处理大量并发请求，扩散模式的 2.42× 吞吐量提升直接转化为成本优势
2. 长文本生成：生成 2000+ Token 的长文（代码、报告、文章）时，扩散的并行优势随长度线性增长
3. 批量处理：非实时的批量任务（如数据标注、内容生成、翻译），不要求流式输出，扩散模式可以最大化 GPU 利用率
4. 双 GPU 可用：已经有双 GPU 配置的团队，可以零成本切换到扩散模式

混合策略：

最聪明的做法是动态切换——根据请求特征自动选择模式：

• 短文本 + 低延迟要求 → AR 模式
• 长文本 + 高吞吐要求 → 扩散模式

TwoTower 的三模式设计（完整扩散、模拟 AR、纯 AR）为这种动态切换提供了基础。未来的推理引擎（如 vLLM 或 SGLang 的后续版本）可能会实现请求级的模式路由。

与现有推理引擎的关系：

据行业分析（2026-06），2026 年 LLM 推理引擎呈现三足鼎立格局：vLLM（灵活性之王）、SGLang（前缀缓存之王）、TensorRT-LLM（硬件极限之王）。TwoTower 的扩散模式不属于这三个引擎中的任何一个——它是一种解码策略，而非完整的推理引擎。

最可能的演进路径是：扩散解码被集成到现有推理引擎中，作为第四种「加速模式」。例如：

• vLLM 添加扩散解码后端
• TensorRT-LLM 编译优化扩散去噪塔
• SGLang 为扩散模式添加前缀缓存支持

这意味着你不需要「换引擎」，只需要「升级引擎版本」就能获得扩散加速。

TwoTower 的发布不仅仅是一个技术突破——它对 AI 推理市场的多个参与者有连锁影响。

对推理服务商的影响：

Together AI、Anyscale、Fireworks AI 等推理服务商的核心成本是 GPU 租赁。TwoTower 的 2.42× 吞吐量提升意味着：

• 相同 GPU 预算可以服务 2.4 倍更多客户
• 或者相同客户数下 GPU 成本降低 58%

这将加剧推理服务商之间的价格竞争。据 Menlo Ventures 的数据，2026 年 AI 推理市场规模约 120 亿美元，预计 2028 年达到 350 亿美元。扩散模式的普及将加速这个增长——更低的推理成本意味着更多应用场景变得经济可行。

对开源模型生态的影响：

TwoTower 以 NVIDIA Nemotron Open Model License 发布，权重开放，可商用。这意味着：

• 任何团队都可以下载模型并部署扩散推理
• 推理引擎（vLLM、SGLang 等）可以集成 TwoTower 的扩散解码逻辑
• 社区可以在此基础上训练更多扩散模型（如基于 Llama 3 或 Qwen 3 的扩散版本）

关键问题是：TwoTower 的双塔设计是否可以迁移到其他骨干网络？ 据 Hugging Face 博客（2026-06）的描述，TwoTower 的去噪塔是在 Nemotron-3-Nano-30B-A3B 骨干上训练的。迁移到其他骨干（如 Llama 3.3 70B）需要重新训练去噪塔，但上下文塔可以替换。这意味着迁移成本不是零，但也不是天文数字——大约需要 2.1T tokens 的训练计算量。

对 NVIDIA 自身的影响：

TwoTower 强化了 NVIDIA 在 AI 推理生态中的全栈控制力：

• 硬件层：H100/B200 GPU 是扩散模式的最优平台
• 软件层：TensorRT-LLM 可以编译优化扩散去噪塔
• 模型层：Nemotron 系列提供开源的扩散 LLM 检查点

这种全栈整合让 NVIDIA 在推理市场中的地位更加稳固。但值得注意的是，TwoTower 的扩散模式需要 2×GPU——这对 NVIDIA 来说是好消息（卖更多 GPU），但对资源受限的用户来说是障碍。

对学术研究的影响：

TwoTower 证明了扩散 LLM 可以在不牺牲质量的前提下超越 AR 吞吐量。这将刺激更多学术研究投入扩散语言模型方向。可以预见的研究方向包括：

• 更大的扩散 LLM（70B+ 参数）
• 更高效的去噪策略（减少迭代次数）
• 扩散模式与 KV Cache 的结合
• 多模态扩散模型（文本 + 图像 + 代码统一生成）

12 个月预测：

基于 TwoTower 的发布和行业动态，本站做出以下预测：

1. 2026 Q4：vLLM 或 SGLang 将原生支持扩散解码后端
2. 2027 Q1：至少 2 个 70B+ 参数的开源扩散 LLM 发布
3. 2027 Q2：扩散模式在推理服务商中的采纳率达到 30%+
4. 2027 H2：扩散 LLM 的吞吐量优势将扩大到 5-10×（随着去噪策略优化和硬件适配）

TwoTower 是一项重要的技术突破，但它不是银弹。以下是当前版本的已知局限：

1. 显存需求翻倍

完整扩散模式需要 2×H100 80GB GPU。对于 30B 参数的模型，这意味着约 118GB 显存（59GB×2）。相比之下，AR 模式只需要单块 80GB GPU。对于资源受限的团队，这是一个实际障碍。

可能的缓解方案：

• 量化去噪塔到 INT8/INT4，减少显存占用
• 使用模型并行将两个塔分布在更多 GPU 上
• 等待下一代 GPU（如 B200 的 192GB HBM3e）

2. KV Cache 兼容性不成熟

AR 模式的 KV Cache 机制已经非常成熟——PagedAttention、前缀缓存、跨请求复用等。扩散模式由于并行解码的特性，KV Cache 的使用方式不同，目前的实现不如 AR 高效。这意味着在多轮对话、RAG 等依赖 KV Cache 复用的场景中，扩散模式的实际成本优势可能小于理论值。

3. 质量-吞吐量的权衡参数

置信度阈值 γ 是一个关键超参数：

• γ 越高（如 0.95）→ 质量越高，但每次迭代锁定的 Token 越少 → 吞吐量提升越小
• γ 越低（如 0.6）→ 每次锁定更多 Token → 吞吐量更高，但质量可能下降

2.42× 的测试结果是在 γ=0.8 下获得的。不同任务可能需要不同的 γ 值——代码生成可能需要更高的 γ（保证语法正确性），而创意写作则可以容忍更低的 γ。

4. 生态兼容性

目前 TwoTower 的检查点是专门为 Nemotron-3-Nano-30B-A3B 骨干训练的。如果你使用的是 Llama 3.3、Qwen 3、Mistral 等其他模型，无法直接使用 TwoTower。需要在新骨干上重新训练去噪塔（约 2.1T tokens 的计算量）。

5. 长序列行为

扩散模式在长序列（32K+ Token）上的行为尚未充分验证。AR 模式的注意力复杂度是 O(n²)，扩散模式的去噪迭代在长序列上可能需要更多步骤。需要更多基准测试来确认。

6. 评估基准的局限性

98.7% 的质量保留率是在聚合基准测试上测得的。在特定任务（如数学推理、代码生成、长文本理解）上的表现可能有差异。部署前务必在你的目标任务上评估。

如果你想在你的系统中试用 TwoTower，以下是从零开始的实践路径。

Step 1：硬件检查

• 你有 2×H100 80GB（或 A100 80GB）GPU？→ 可以使用完整扩散模式
• 你只有 1×80GB GPU？→ 可以使用 AR 模式（同一检查点）
• 你有消费级 GPU（如 RTX 4090 24GB）？→ 模型太大，需要使用量化版本或更小的模型

Step 2：下载模型

模型托管在 Hugging Face：nvidia/Nemotron-Labs-TwoTower-30B-A3B-Base-BF16

使用 Transformers 库加载：

Step 3：选择解码模式

• 扩散模式：使用 model.generate_mask_diffusion()，设置 block_size=16, steps_per_block=16
• AR 模式：使用标准的 model.generate()，自动退化为自回归解码

Step 4：调优关键参数

• block_size (S)：每次处理的 Token 块大小。越大吞吐量越高，但显存需求越大。建议从 16 开始，逐步增大
• steps_per_block：每个块的迭代去噪步数。越多质量越好，但速度越慢。建议 8-16
• confidence_threshold (γ)：Token 锁定阈值。越高越保守（质量好但慢），越低越激进（快但质量可能下降）。建议 0.7-0.9
• temperature：采样温度。低温度（0.1）用于确定性任务（代码、数学），高温度（0.8-1.0）用于创意任务

Step 5：基准测试

在你的具体任务上对比 AR 模式和扩散模式的：

• 吞吐量（tokens/s）
• 质量指标（如困惑度、任务特定准确率）
• 显存占用
• 首 Token 延迟

根据测试结果决定生产环境的配置。

生产部署建议：

1. 灰度发布：先在 10% 的流量上测试扩散模式，监控质量和延迟
2. 动态路由：根据请求长度和延迟要求自动选择模式
3. 监控告警：设置扩散模式的质量指标告警（如 perplexity 超过阈值时自动回退到 AR）
4. 成本核算：对比扩散模式和 AR 模式的实际每 Token 成本（包括 GPU 时间、显存、网络开销）

from transformers import AutoTokenizer, AutoModelForCausalLM

model_name = "nvidia/Nemotron-Labs-TwoTower-30B-A3B-Base-BF16"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name, torch_dtype=torch.bfloat16, trust_remote_code=True
)
# 分配塔到不同 GPU
model.place_towers_on_devices("cuda:0", "cuda:1")

NVIDIA Nemotron-Labs-TwoTower 的发布标志着 LLM 推理进入一个新的实验阶段——自回归不再是唯一选择。

核心要点回顾：

1. 架构创新：TwoTower 通过双塔分离（冻结 AR 上下文塔 + 训练扩散去噪塔）解决了扩散 LLM 的质量瓶颈，在保持 98.7% AR 基线质量的同时实现 2.42× 吞吐量提升
2. 工程意义：相同 GPU 集群可以服务 2.4 倍更多并发请求，每 Token 成本降低 58%
3. 灵活部署：同一检查点支持扩散、模拟 AR、纯 AR 三种模式，可根据硬件和场景灵活切换
4. 行业影响：推理服务商成本结构被重写，开源生态获得首个商用扩散 LLM，推理引擎格局可能演变

更大的趋势：

TwoTower 不是孤立的技术突破。它是「后自回归时代」LLM 推理探索的一部分。其他值得关注的方向包括：

• 状态空间模型（SSM）：如 Mamba、Jamba，通过线性复杂度注意力解决长序列问题
• 循环 Transformer：如 Google 的 Hyena，结合 RNN 和 Transformer 的优势
• 推测解码的进化：从独立草稿模型到自推测（self-speculation），NVIDIA NLD 系列已展示 6.38× TPF 的二次自推测性能
• 硬件协同设计：如 Cerebras 的晶圆级芯片、Groq 的 LPU，从硬件层面突破串行瓶颈

最终判断：

自回归解码不会消失——它在灵活性、生态兼容性、低延迟场景中的优势太强。但扩散解码将成为推理工具箱中的重要新工具。2027 年的主流推理引擎很可能同时支持 AR、扩散、SSM 等多种解码策略，根据请求特征动态选择最优模式。

对于 AI 工程师来说，现在是学习扩散 LLM 的最佳时机——它足够新（还没有成为常识），又足够成熟（有开源实现和基准数据）。掌握扩散解码的原理和实践，将在未来的推理优化竞争中占据优势。

本站将持续跟踪扩散 LLM 的发展，包括 vLLM/SGLang 的集成进展、更大参数规模扩散模型的发布、以及生产环境的大规模部署案例。关注本站获取更新。