DiffusionGemma

Google 的扩散文本模型

亦作、亦称：扩散语言模型 · Discrete Diffusion LLM · dLLM

Google 于 2026 年 6 月发布并开源的首个扩散语言模型，基于 Gemma 4 架构，采用离散扩散（Discrete Diffusion）范式，单次并行生成 256 个 token，在 H100 上达到 1107 tok/s，比自回归 Gemma 4 快 4 倍。

技术架构

DiffusionGemma 基于 Gemma 4 架构构建，采用Mixture-of-Experts（MoE） 设计：26B 总参数，约4B 激活参数，128 个专家，滑动窗口注意力+ 周期性全局层，支持最长256K 上下文，小型视觉编码器。扩散头（Diffusion Head）：DiffusionGemma 在 Gemma 4 基础上集成了 novel diffusion head，用于最大化生成速度。扩散头将传统的语言模型输出层替换为扩散解码器，支持并行 token 生成。混合解码模式：DiffusionGemma 实际上是「块内扩散 + 块间自回归」的混合架构。每个 256-token 块内部使用扩散并行生成，块之间使用自回归串行生成。这种设计在保持生成质量的同时最大化了并行度。去噪步骤：每个去噪步骤中，模型可以同时更新块内的多个 token。通过 entropy/uncertainty locking 机制，模型逐步「锁定」高置信度 token，将计算资源集中在不确定的 token 上。

与自回归模型的对比

生成方式：自回归模型（GPT、Claude）从左到右逐个生成，DiffusionGemma 从全 MASK 序列出发并行去噪。推理速度：DiffusionGemma 在 H100 上达到 1107 tok/s，比 Gemma 4 快 4 倍。

质量权衡：自回归 Gemma 4 仍是高质量生产输出的标准，DiffusionGemma 设计用于速度关键的交互式工作流（如行内编辑、快速迭代、非线性文本结构）。

应用场景：DiffusionGemma 适合需要低延迟的场景（代码补全、实时翻译、交互式写作），自回归模型适合需要最高质量的场景（长文生成、复杂推理）。

生态支持：DiffusionGemma 首日获得 vLLM、Hugging Face Transformers、MLX、llama.cpp 支持，可在多种硬件上高效运行。

开源生态与部署

发布时间：2026 年 6 月 10 日，Apache 2.0 协议开源。模型权重：Hugging Face 上发布 google/diffusiongemma-26B-A4B-it。

推理框架：vLLM（首日支持，由 Red Hat 贡献集成）、Hugging Face Transformers、SGLang、MLX、llama.cpp。

微调工具：Google 发布官方训练配方（使用 Hackable Diffusion），Unsloth 和 NVIDIA NeMo 支持高效微调。部署平台：Google Cloud Model Garden 即时部署、NVIDIA NIM 容器。

量化支持：BF16、FP8、NVFP4、GGUF 多种量化格式，可在不同硬件上高效运行。

常见误解

日常交流中容易听到的简化说法，未必准确，但能帮助理解误解从何而来。

「Google 的扩散文本模型」
「打破自回归范式的 LLM」

🎯 考点练习

含该术语的高频面试题，含标准答案与追问。

浏览全部面试题 →

外部参考

维基百科：查看「DiffusionGemma」词条

本页内容为本站原创撰写；维基百科链接仅作延伸参考。