Google 开源 DiffusionGemma 深度解析：扩散语言模型能否打破自回归垄断

📖 读完本文你将获得：

• 理解 DiffusionGemma 的核心技术架构——如何将扩散模型迁移到离散文本空间
• 掌握吸收扩散（Absorbing Diffusion）的训练目标设计及其与 BERT MLM 的关系
• 获得 DiffusionGemma 与主流自回归模型的性能对比数据——推理速度、生成质量、资源消耗
• 预判扩散语言模型对 AI 行业的格局性影响——谁会受益、谁会面临挑战
• 理解扩散语言模型的商业化路径——从研究到落地的关键里程碑

事件背景：

• 2026 年 6 月：Google 正式开源 DiffusionGemma，基于 Gemma 模型架构改造
• 核心数据：4090 单卡可运行，每秒 1000+ token 生成速度
• 技术路线：吸收扩散 + Transformer 编码器 + 分数熵训练目标
• 开源许可：Gemma 开源许可，允许商业和研究使用

核心观点： DiffusionGemma 不是又一个「更好更快的 LLM」，而是一个范式级的替代方案。它证明扩散模型不仅可以生成图像和视频，也能在文本生成领域与自回归模型正面竞争。如果扩散语言模型成熟，AI 推理的经济学将被彻底改写——从「按 token 计费的云端 API」转向「本地部署、并行生成、成本可控」。

1.1 自回归垄断的裂缝

过去三年，大语言模型的竞赛几乎完全围绕自回归范式展开。GPT-4、Claude 3/4、Gemini 1.5/2.0——所有顶级模型都是「逐 token 预测」的自回归架构。这种垄断带来了两个结构性问题：

第一个问题是推理成本。自回归模型的推理延迟与输出长度严格成正比。生成 1000 个 token 需要 1000 次前向传播，每次都要加载完整的模型权重。这意味着即使用户只需要一段简短的回复，服务提供方也必须承担完整的计算成本。这种线性成本结构是云端 API 按 token 计费的根本原因。

第二个问题是创新停滞。当所有人都沿着同一条技术路线竞赛时，边际改进越来越小。GPT-4 到 GPT-4.5 的提升、Gemini 1.5 到 2.0 的升级——这些改进虽然真实存在，但相对于训练成本的增长而言，性价比正在下降。自回归范式可能已经逼近了其能力天花板。

1.2 Google 的战略考量

Google 在此时开源 DiffusionGemma，背后有清晰的战略逻辑：

第一，开辟新赛道。当 OpenAI 和 Anthropic 在自回归路线上投入巨资时，Google 选择在扩散语言模型上建立技术壁垒。如果扩散语言模型被证明在特定场景中优于自回归，Google 将拥有先发优势。

第二，开源换生态。通过开源 DiffusionGemma，Google 可以降低扩散语言模型的采用门槛，吸引更多研究者和开发者进入这一方向。开源的核心价值不在于「免费」，而在于「加速生态建设」。当足够多的工具链、微调框架、部署方案围绕 DiffusionGemma 建立时，它就成为了事实标准。

第三，降低推理成本。Google 自身的 Gemini 服务面临巨大的推理成本压力。如果 DiffusionGemma 的并行解码能力可以降低 3-5 倍的推理成本，将直接影响 Google 云的利润率。

1.3 行业反应

DiffusionGemma 开源后 48 小时内，AI 研究社区出现了三种典型反应：

乐观派认为这是自 2017 年 Transformer 论文以来语言模型最大的范式创新。扩散模型的并行解码能力使得推理速度提升一个数量级成为可能，这将彻底改变 AI 应用的部署方式。

谨慎派指出扩散语言模型在生成质量上仍有差距。虽然推理速度快，但如果生成的文本在逻辑连贯性、代码正确性、创意质量上不如自回归模型，那么速度优势就失去了意义。

实用派已经在测试 DiffusionGemma 在实际场景中的表现。初步反馈显示：在文本摘要、翻译、代码补全等任务上，DiffusionGemma 已经可以达到可用水平；但在复杂推理、创意写作、多轮对话上仍有明显差距。

2.1 从 Gemma 到 DiffusionGemma：架构改造的核心

DiffusionGemma 并非从零构建的全新模型，而是基于 Gemma 模型权重的架构改造。这一设计选择体现了务实的工程思维：利用已有的预训练权重，而非从头训练。

改造的核心在于注意力机制的变更。Gemma 作为自回归模型，使用因果掩码（Causal Mask）的自注意力——每个位置只能看到它之前的 token。DiffusionGemma 将因果掩码替换为双向注意力（Bi-directional Attention）——每个位置可以看到整个序列。

这一变更看似简单，但影响深远：

第一，训练目标的根本变化。Gemma 的训练目标是预测下一个 token（交叉熵损失），DiffusionGemma 的训练目标是预测被掩码的 token（分数熵损失）。虽然两者在形式上都是分类问题，但优化 landscape 截然不同。

第二，推理模式的彻底重构。Gemma 的推理是串行的——生成 token_1 后将其作为 token_2 的输入。DiffusionGemma 的推理是并行的——从全 [MASK] 序列出发，每一步同时更新所有位置。

第三，位置编码的适配。Gemma 使用 RoPE（旋转位置编码），天然适配因果注意力。DiffusionGemma 保留了 RoPE，但需要在双向注意力场景下重新验证其有效性。初步实验表明 RoPE 在双向注意力下仍然有效，但最优超参数需要重新调整。

2.2 吸收扩散的训练流程

DiffusionGemma 的训练分为两个阶段：

阶段一：MLM 预训练（复用 Gemma 权重）。Gemma 在预训练阶段已经学习到了强大的双向上下文表示能力——虽然它的推理是因果的，但预训练过程中使用了类似 MLM 的辅助目标。DiffusionGemma 直接复用这些权重作为初始化，避免了从头训练的高昂成本。

阶段二：扩散微调。在 MLM 权重的基础上，DiffusionGemma 进行扩散特定的微调。关键变化是：

1. 引入时间步嵌入（Time Step Embedding）。模型需要知道当前处于扩散过程的哪一步（t=50 还是 t=10），因为不同时间步的噪声水平和去噪策略不同。

2. 修改损失函数为分数熵（Score Entropy）。对于每个被掩码的位置，模型输出该位置 token 的概率分布，损失为负对数似然。这与 MLM 的交叉熵损失形式相同，但采样策略和时间调度不同。

3. 动态时间调度。训练时随机采样时间步 t，确保模型在所有时间步上都有良好的去噪能力。这与扩散图像模型中的「均匀采样 + 重要性加权」策略类似。

2.3 并行解码的实现细节

DiffusionGemma 最引人注目的特性是并行解码。以下是其推理过程的详细拆解：

步骤一：初始化。输入全 [MASK] 序列，长度等于期望的输出长度。

步骤二：迭代去噪。对于每一步 t（从 T 到 1）：

1. 将当前序列（部分已确定、部分为 [MASK]）输入模型
2. 模型输出每个位置的 token 概率分布
3. 对每个位置采样或贪心选择 token
4. 高置信度位置提前锁定——如果某个位置的概率超过阈值（如 0.95），则锁定该位置，后续步骤不再更新

步骤三：收敛检查。当所有位置都被锁定，或达到最大步数时，输出生成结果。

关键优化：预测性去噪。DiffusionGemma 在前几步（t=T 到 t=T-10）快速确定高置信度的 token（通常是常见的停用词、标点符号），后续步骤（t=T-10 到 t=1）专注于不确定位置的精细调整。这种策略将有效推理步数从 50 步降至 20-30 步，进一步提升了吞吐量。

# DiffusionGemma 并行解码核心逻辑（概念示意，非可直接运行代码）
# 注意：实际 DiffusionGemma 使用专用的推理库，
# 而非标准 HuggingFace AutoModelForMaskedLM API

import torch

class DiffusionGemmaDecoder:
    """
    扩散语言模型并行解码示意
    展示核心算法流程：从全[MASK]逐步去噪，高置信度位置提前锁定
    """
    def __init__(self, model, tokenizer, 
                 device="cuda", conf_threshold=0.95):
        # model: 专用的扩散语言模型（非标准 HuggingFace API）
        # 需要包含时间步嵌入和双向注意力的自定义模型
        self.model = model
        self.tokenizer = tokenizer
        self.conf_threshold = conf_threshold
        self.mask_token_id = tokenizer.mask_token_id
    
    def generate(self, max_length: int = 256, steps: int = 50):
        """并行解码生成文本"""
        # 初始化：全 [MASK]
        input_ids = torch.full(
            (1, max_length), self.mask_token_id,
            dtype=torch.long, device=self.model.device
        )
        locked = torch.zeros(max_length, dtype=torch.bool,
                           device=self.model.device)
        
        for t in range(steps, 0, -1):
            if locked.all():
                break  # 全部锁定，提前结束
            
            # 前向传播：模型需要接收时间步信息
            # 注意：这是专用 API，非标准 HuggingFace
            logits = self.model.forward_with_time(
                input_ids=input_ids, time_step=t
            )  # 输出 [1, S, V]
            
            # 概率分布 + 采样
            probs = torch.softmax(logits[0] / 1.0, dim=-1)
            candidates = torch.multinomial(probs, 1).squeeze(-1)
            max_probs = probs.max(dim=-1).values
            
            # 锁定高置信度位置
            new_locked = max_probs > self.conf_threshold
            locked = locked | new_locked
            
            # 仅更新未锁定位置
            input_ids[0, ~locked] = candidates[~locked]
        
        return self.tokenizer.decode(input_ids[0], skip_special_tokens=True)

3.1 推理速度对比

DiffusionGemma 的核心卖点是推理速度。以下是 2026 年 6 月的实测数据（来源：Google 技术报告 + 社区复现）：

测试环境：NVIDIA RTX 4090（24GB VRAM），CUDA 12.1，batch_size=1

关键洞察：

第一，吞吐量提升是真实的。DiffusionGemma-2B 的吞吐量（1050 tok/s）是同规模自回归模型（85 tok/s）的 12 倍。这主要归功于并行解码——每一步同时处理 256 个位置，而非逐个处理。

第二，首次 token 延迟更高。自回归模型在第一次前向传播后就能输出第一个 token，而扩散模型需要等待至少几步去噪后才能输出有意义的结果。这使得 DiffusionGemma 在流式对话场景中不如自回归模型——用户需要等待 100-200ms 才能看到第一个 token，而不是 15ms。

第三，序列长度的影响。自回归模型的吞吐量随序列长度基本不变（因为每一步只生成一个 token），而扩散模型的吞吐量随序列长度增加而提升（因为每步处理的 token 数增加，GPU 利用率提高）。对于 1024 token 的长文本，DiffusionGemma 的相对优势更加显著。

3.2 生成质量对比

速度固然重要，但生成质量才是决定模型可用性的关键。

困惑度（Perplexity）对比（WikiText-2 测试集）：

DiffusionGemma-2B 的困惑度（14.1）比同规模自回归模型 Gemma-2-2B（12.3）高约 15%，说明其在语言建模质量上仍有差距。但值得注意的是，DiffusionGemma-2B 的困惑度已经优于 GPT-2（1.5B）的 18.7——这意味着它在绝对质量上已经达到了可用水平。

人类评估结果（5 分制，来自社区众测）：

差距最大的领域是创意写作和逻辑推理。这背后的原因与扩散模型的生成机制有关：逐步去噪过程使得模型难以进行长程的因果推理——每一步的决策基于局部上下文，而非全局的推理链条。自回归模型的逐 token 生成天然支持逐步推理，而扩散模型的并行生成在需要「先想清楚再写」的任务中处于劣势。

扩散语言模型并非只有 DiffusionGemma 一种方案。2022-2026 年间，研究者探索了多条技术路线。理解这些路线的差异，有助于判断扩散语言模型的整体发展态势。

路线一：连续嵌入空间扩散（Continuous Embedding Diffusion）

代表工作：Diffusion-LM（Li et al., 2022）。核心思想是将 token 映射为连续嵌入向量，在嵌入空间中执行标准扩散过程。去噪完成后，将最终嵌入映射回最近的 token。

优势：可以直接复用扩散图像模型的架构和训练技巧。U-Net、DiT、Flow Matching 等成熟方案可以无缝迁移。

劣势：嵌入空间中的距离与语义距离不完全对齐。两个在嵌入空间中很近的向量可能对应完全不同的 token，导致「语义跳跃」问题。这是该路线最大的瓶颈。

路线二：离散扩散（Discrete Diffusion / D3PM）

代表工作：D3PM（Austin et al., 2021）。直接在离散 token 空间定义扩散过程——每一步以一定概率将当前 token 替换为词汇表中的其他 token。

优势：数学上最严谨。直接在离散空间操作，不需要连续近似的假设。

劣势：转移矩阵大小为 V×V。对于 256K 词表，矩阵有 655 亿元素，计算和存储都不可行。研究者尝试了低秩近似和稀疏化，但效果有限。

路线三：吸收扩散（Absorbing Diffusion）

代表工作：SEDD（Austin et al., 2023）、DiffusionGemma（Google, 2026）。前向过程中 token 被「吸收」为 [MASK] 标记，反向过程学习恢复被掩码的 token。

优势：巧妙利用了 BERT 等 MLM 模型的预训练能力。BERT 的训练目标与吸收扩散的去噪目标形式一致，这意味着已有的 MLM 权重可以直接迁移。同时，吸收扩散避免了 V×V 转移矩阵的问题。

劣势：训练目标的设计仍不完善。分数熵目标函数在理论上还有改进空间，不同时间步的采样策略也需要更精细的调优。

AI Master 的判断：吸收扩散是当前最优的技术路线。它不仅解决了离散空间扩散的数学难题，还最大化地利用了已有基础设施（BERT 等 MLM 权重）。DiffusionGemma 的成功验证了这一判断。

5.1 受益方

云服务提供商。推理成本的降低直接影响云服务商的利润率。如果 DiffusionGemma 可以将推理成本降低 3-5 倍，GCP、AWS、Azure 都将受益。尤其是 GCP，作为 Google 自有云平台，可以第一时间集成 DiffusionGemma，获得成本优势。

边缘 AI 开发者。单卡 4090 可运行意味着不需要昂贵的 A100/H100 集群。个人开发者、中小型企业可以在消费级硬件上部署扩散语言模型，这大幅降低了 AI 应用的准入门槛。

实时应用场景。高吞吐量的扩散语言模型特别适合需要快速生成大量文本的场景：批量文档生成、实时翻译、大规模数据标注等。在这些场景中，生成质量的轻微下降可以被速度提升完全弥补。

开源社区。Google 的开源策略使得扩散语言模型的研究和开发不再是巨头的专利。研究者可以在 DiffusionGemma 的基础上进行微调、改进、扩展，加速整个方向的发展。

5.2 面临挑战方

云端 API 提供商。OpenAI 的 ChatGPT API、Anthropic 的 Claude API 按 token 计费的商业模式受到潜在威胁。如果扩散语言模型使得本地部署的推理成本大幅降低，部分用户可能会从云端 API 迁移到本地部署。

自回归模型的优化方案。vLLM、TensorRT-LLM、Ollama 等自回归推理优化引擎的核心价值是「让自回归模型跑得更快」。如果扩散语言模型在原生速度上就已经超越了优化后的自回归模型，这些工具需要重新定位自己的价值主张。

AI 安全研究。扩散模型的逐步去噪过程使得传统的 AI 安全方法（如 RLHF、Constitutional AI）需要重新设计。这些方法大多是为自回归模型设计的，直接迁移到扩散模型上可能不工作。

5.3 市场格局预判

短期（2026 下半年）：DiffusionGemma 主要用于研究和实验。生成质量差距使得它还不适合替代自回归模型作为主要的文本生成方案。但会有一批「尝鲜者」开始在特定场景（如批量摘要、翻译）中试用。

中期（2027 年）：随着训练方法的改进和更多研究者的参与，扩散语言模型的生成质量有望缩小与自回归模型的差距。混合架构（自回归初始化 + 扩散精修）可能成为主流方案，结合两者的优势。

长期（2028 年及以后）：如果扩散语言模型在生成质量上达到自回归模型 90% 以上的水平，考虑到其 10 倍的推理速度优势，扩散语言模型可能成为多数应用场景的默认选择。云端 API 的商业模式可能需要从「按 token 计费」转向「按实例计费」。

6.1 当前商业化障碍

尽管 DiffusionGemma 在技术指标上令人兴奋，但从研究到商业落地仍面临多重障碍：

工具链缺失。LangChain、LlamaIndex、Haystack 等主流 AI 应用框架都是围绕自回归模型设计的。它们假设模型是串行的、流式的、逐个 token 生成的。扩散语言模型的并行解码模式与这些框架的假设不兼容。需要全新的推理引擎和工具链来支持扩散语言模型。

微调生态不完善。LoRA、QLoRA 等高效微调方法是为自回归 Transformer 设计的。扩散语言模型的训练目标和注意力机制与自回归模型不同，现有的微调方法可能不直接适用。需要开发扩散特定的微调工具。

部署标准化不足。vLLM、TGI 等推理服务器为自回归模型提供了标准化部署方案。扩散语言模型需要类似的部署基础设施——批量请求处理、动态批处理、显存管理等——目前这些仍在开发中。

6.2 最可能的商业化场景

基于当前技术状态，扩散语言模型最可能的商业化场景是：

场景一：批量文档处理。企业需要将大量文档（如合同、报告、邮件）进行摘要、翻译或分类。扩散语言模型的高吞吐量使得这种批量处理任务可以在数分钟内完成，而自回归模型可能需要数小时。

场景二：实时翻译服务。扩散模型的并行生成特性使得它可以在一次推理中生成完整的翻译结果，而非逐词翻译。这避免了自回归翻译中常见的「翻译到一半偏离上下文」的问题。

场景三：代码补全 IDE 插件。在 IDE 中，开发者经常需要同时补全多处代码。扩散模型可以并行生成所有缺失部分，确保它们之间的一致性。这对于大型项目的代码重构特别有用。

场景四：低延迟的边缘推理。在自动驾驶、工业控制等对延迟极度敏感的场景中，扩散语言模型的高吞吐量使得它可以在边缘设备上提供可接受的语言理解能力，而无需等待云端 API 的响应。

6.3 实战集成示例：将 DiffusionGemma 接入现有应用

对于希望尝试 DiffusionGemma 的开发者，以下是一个将扩散语言模型集成到现有 Web 应用的示例：

架构设计：使用 FastAPI 搭建推理服务，前端通过 HTTP 请求发送批量处理任务，后端利用 DiffusionGemma 并行解码完成生成后返回结果。与自回归模型的流式 API 不同，扩散模型采用批量请求-响应模式——客户端一次性发送所有输入，服务器并行处理后返回全部输出。

from fastapi import FastAPI
from pydantic import BaseModel
from typing import List
import time

app = FastAPI()

class BatchRequest(BaseModel):
    prompts: List[str]
    max_length: int = 256
    steps: int = 50

class BatchResponse(BaseModel):
    results: List[str]
    processing_time_ms: float

@app.post("/generate-batch", response_model=BatchResponse)
async def batch_generate(req: BatchRequest):
    start = time.time()
    results = []
    for prompt in req.prompts:
        output = model.generate(
            prompt=prompt,
            max_length=req.max_length,
            steps=req.steps
        )
        results.append(output.text)
    elapsed = (time.time() - start) * 1000
    return BatchResponse(results=results, processing_time_ms=elapsed)

7.1 生成质量的根本瓶颈

扩散语言模型在生成质量上的差距不是暂时的「工程问题」，而是有理论根源的。

逐步去噪的误差累积。扩散模型每一步的去噪决策都是概率性的，每一步都可能引入微小的误差。在多步迭代中，这些误差会累积。虽然预测性去噪可以减少步数，但每一步的误差仍然可能影响最终结果。

缺乏逐步推理能力。自回归模型的逐 token 生成天然支持逐步推理——每生成一个 token，模型都可以基于已生成的内容调整下一步的预测。这对于需要「先想清楚再写」的任务（如数学推理、代码生成）非常重要。扩散模型的并行生成跳过了这一过程，使得它在需要长程推理的任务中处于劣势。

全局一致性的挑战。扩散模型同时生成所有位置的 token，这意味着模型需要在每一步都保持全局一致性。对于长文本（如万字长文），保持数百个 token 之间的逻辑一致性是一个巨大的挑战。自回归模型通过逐步生成天然解决了这一问题——每一步都基于前面已经生成的一致内容。

7.2 评估体系的缺失

扩散语言模型的评估面临方法论挑战：

困惑度不是公平的指标。困惑度是为自回归模型设计的——它衡量的是模型预测下一个 token 的能力。扩散语言模型的训练目标是去噪（预测被掩码的 token），两者在数学上不同。用困惑度评估扩散语言模型可能不公平。

人类评估的主观性。现有的人类评估方法（如 LMSYS Chatbot Arena）主要比较两个模型的对话质量。但扩散语言模型在对话场景中的优势不明显（首次 token 延迟高），使得评估结果偏向自回归模型。

需要新的评估基准。扩散语言模型需要专门的评估基准——例如，同时评估生成速度和质量的多维度指标、衡量全局一致性的专用测试、评估并行生成质量的场景化基准。

7.3 安全对齐的挑战

扩散语言模型的安全对齐（Safety Alignment）是一个尚未解决的问题：

RLHF 不适配。现有的 RLHF 方法依赖于自回归模型的逐步生成——在每个时间步采样多个候选，用奖励模型评分，然后用 PPO 优化策略。扩散模型的并行生成使得这一流程需要重新设计。

引导函数的设计难度。一种替代方案是在扩散过程中引入引导函数（guidance function），在去噪的每一步施加安全约束。但引导函数的设计本身就是一个难题——如何在不同时间步施加不同粒度的约束，如何平衡安全性和生成质量，如何避免引导函数过度抑制模型能力。

监管合规。扩散语言模型作为新兴技术，还没有经过充分的安全审计。在将其用于生产环境之前，需要建立针对扩散语言模型的安全评估框架。

8.1 2026 下半年预期进展

基于当前研究态势，AI Master 预判以下方向在 2026 下半年会有重要进展：

混合架构将成为主流。纯扩散语言模型和纯自回归模型各自有明确的优劣势，混合架构可以结合两者的长处。预计会有更多「自回归初始化 + 扩散精修」和「扩散主生成 + 自回归校验」的混合方案出现。

扩散语言模型专用微调工具将出现。类似于 LoRA 之于自回归模型，扩散语言模型需要自己的高效微调方法。预计会有研究者提出基于分数熵的扩散 LoRA 变体，使得中小团队可以在消费级硬件上微调扩散语言模型。

推理引擎适配。vLLM 或 TGI 可能率先宣布对扩散语言模型的支持，提供标准化的部署方案。这将是扩散语言模型商业化的重要里程碑。

8.2 长期趋势（2027-2028）

扩散语言模型可能成为特定领域的默认选择。在批量处理、翻译、代码补全等场景中，扩散语言模型的吞吐量优势可能足以弥补质量差距。随着训练方法的改进，质量差距有望进一步缩小。

多模态扩散模型的统一。扩散模型已经在图像、视频、音频生成中占据主导地位。如果扩散语言模型成熟，那么「所有模态都用扩散模型」将成为一种可行的统一方案。这将简化多模态 AI 系统的架构——一个模型、一种训练方法、一种推理引擎，处理所有模态。

AI 推理经济学的重构。如果扩散语言模型的推理成本确实只有自回归模型的 1/3 到 1/5，那么云端 AI 服务的定价模式可能需要从「按 token 计费」转向「按实例/按时长计费」。这将对整个 AI 产业的商业模式产生深远影响。

8.3 AI Master 的最终判断

DiffusionGemma 不是一个「玩具」，而是一个「信号」。它证明了扩散模型在文本生成领域的可行性，而且这个可行性不是实验室里的纸上谈兵——它已经在消费级硬件上实现了千级 token/s 的吞吐量。

但它也不是自回归模型的「终结者」。自回归模型在生成质量、生态成熟度、安全对齐方面的优势是巨大的，短期内不可逾越。扩散语言模型的成功不在于「取代」，而在于「补充」——在速度敏感、质量次敏感的场景中提供差异化价值。

最大的赢家可能是混合架构的探索者。那些能将自回归的质量和扩散的速度结合起来的人，将在下一代 AI 基础设施中占据先机。

论文推荐：

• Diffusion-LM: "Diffusion-LM Improves Controllable Text Generation" (Li et al., NeurIPS 2022)
• SEDD: "Score Entropy for Discrete Diffusion" (Austin et al., ICLR 2023)
• DiffusionGemma: Google 技术报告（2026 年 6 月发布）
• AR-Diffusion: "Autoregressive Diffusion Models" (2024)

开源项目：

• DiffusionGemma 官方仓库 — 训练和推理代码
• HuggingFace Diffusers — 已支持扩散文本模型
• AR-Diffusion 实现 — 自回归与扩散统一框架

相关知识点：

• 扩散模型图像生成（genai-001）
• 离散扩散 SEDD（genai-010）
• 扩散语言模型原理（genai-012）
• Transformer 架构（llm-001）

10.1 开源社区的反响

DiffusionGemma 开源后的一周内，HuggingFace 上的 diffusers 库已率先集成了推理支持。社区反馈集中在三个方面：

第一，推理速度的实际表现。多个独立开发者报告称，在消费级 GPU（如 RTX 4090）上，DiffusionGemma 的推理速度比同等质量的自回归模型快 2-3 倍，但与 Google 官方的基准数据存在差距。这主要由于优化程度不同——Google 使用的是内部推理引擎，而开源社区目前依赖 diffusers 的通用实现。

第二，可控性优势得到验证。在创意写作和结构化文本生成场景中，扩散语言模型的并行生成特性使其在「全局一致性」方面表现突出。与自回归模型逐 token 生成不同，扩散模型同时考虑整个序列，因此在诗歌押韵、代码缩进、表格对齐等需要全局协调的任务中表现更好。

第三，生态兼容性问题。目前扩散语言模型的微调工具链远不如自回归模型成熟。LoRA/QLoRA 等微调技术在扩散模型上的适配仍在进行中，这使得自定义领域模型的训练成本仍然较高。

10.2 竞争格局变化

DiffusionGemma 的开源正在改变语言模型的技术竞争格局：

• OpenAI 尚未公开回应，但内部 reportedly 在探索类似方向
• Anthropic 的 Claude 系列仍以自回归为主，但 Fable/Mythos 双轨策略可能受到启发
• Meta 的 LLaMA 系列短期内不会转向扩散架构，但研究论文显示其正在关注混合方案

10.3 本站观点更新

基于开源后的实际反馈，本站更新以下判断：

原判断：「扩散语言模型在速度敏感场景中有差异化价值」→ 仍然成立，且得到了更多数据支持

新增判断：「扩散语言模型的可控性优势在创意场景中可能被低估」——实际测试表明，在需要全局一致性的任务中（代码生成、结构化文档），扩散模型的表现优于同等参数量的自回归模型。

待观察：「LoRA 微调在扩散模型上的适配进度」——这将是决定扩散语言模型能否大规模商用的关键因素。如果 2026 年下半年出现成熟的微调方案，扩散语言模型的采用率将大幅提升。