Stable Diffusion 全景解析：AI 图像生成从潜空间到 DiT 架构的完整技术栈

2026 年，扩散模型已经超越了学术研究的范畴，成为 AI 图像生成的产业标准。 从 Stable Diffusion 的百万级用户到 Midjourney v7 的商业成功，从 DALL-E 3 的多模态理解到 Adobe Firefly 的企业级应用——扩散模型几乎统治了所有 AI 生成图像的赛道。

扩散模型的核心思想来源于 非平衡热力学：一个清晰的信号（如一张图片）通过逐步添加噪声，最终变成纯噪声；学习如何逆转这个过程，就能从纯噪声中生成有意义的图像。这个看似简单的想法在 2020 年 Jonathan Ho 等人提出 DDPM（Denoising Diffusion Probabilistic Models）后开始爆发。扩散模型相比 GAN（生成对抗网络）有三大核心优势：

第一，训练稳定性。 GAN 需要同时训练生成器和判别器，两者的对抗关系导致训练过程极其不稳定——模式崩溃（Mode Collapse）和训练发散是常态。扩散模型只有一个损失函数（MSE），训练过程单调收敛。

第二，生成质量与多样性。 扩散模型生成的图像覆盖整个数据分布，不会出现 GAN 常见的「只会生成某几种图像」的问题。在 ImageNet 128×128 和 256×256 的 FID 分数上，扩散模型大幅超越了所有 GAN 变体。

第三，条件生成的灵活性。 通过 Classifier-Free Guidance（CFG），扩散模型可以在去噪过程中灵活地注入文本、图像、布局等各种条件，实现精确的可控生成。2026 年的扩散模型生态：Stable Diffusion 3.5（Stability AI）、DALL-E 系列（OpenAI）、Imagen 3（Google）、Midjourney v8.1（Midjourney，v8 于 2026 年 3 月发布、v8.1 于 4 月发布）、Firefly 4（Adobe）、Ideogram 4.0（Ideogram）、FLUX.2（Black-Forest-Labs，2025 年 11 月发布）。这是一个价值数十亿美元的产业。

💡前置阅读收获： 理解扩散模型的核心数学原理（前向加噪+反向去噪）、Latent Diffusion 的计算效率突破、Stable Diffusion 系列的架构演进（从 U-Net 到 DiT）、以及 2026 年扩散模型的关键技术趋势（流匹配、视频生成、可控性提升）。

DDPM（Denoising Diffusion Probabilistic Models）是所有扩散模型的起点。 理解 DDPM 是理解后续所有变体的关键。

2.1 前向过程（Forward Process）

前向过程是一个 确定性的加噪过程。 从一张清晰的图像 x_0 开始，在 T 个时间步中逐步添加高斯噪声。

数学表达：在每一步 t，我们从前一步的 x_{t-1} 计算 x_t：

x_t = sqrt(α_t) × x_{t-1} + sqrt(1 - α_t) × ε

其中 ε ~ N(0, I) 是标准高斯噪声，α_t 是噪声调度参数（从接近 1 逐步衰减到接近 0）。关键性质：给定原始图像 x_0，可以一步计算任意时刻 t 的噪声图像 x_t，不需要逐步迭代。这是因为高斯分布的叠加仍然是高斯分布：

x_t = sqrt(ᾱ_t) × x_0 + sqrt(1 - ᾱ_t) × ε

其中 ᾱ_t = α_1 × α_2 × ... × α_t 是累积噪声调度。

2.2 反向过程（Reverse Process）

反向过程是 学习去噪的过程。 训练一个神经网络 ε_θ(x_t, t)，输入当前噪声图像 x_t 和时间步 t，输出预测的噪声 ε。训练目标：最小化预测噪声与真实噪声之间的均方误差（MSE）

L = E[||ε - ε_θ(x_t, t)||²]

这个损失函数极其简单——但正是这种简洁性使得扩散模型的训练非常稳定。

2.3 采样过程

训练完成后，从纯噪声 x_T ~ N(0, I) 开始，逐步应用网络预测的噪声来去噪：

x_{t-1} = (x_t - (1-α_t)/sqrt(1-ᾱ_t) × ε_θ(x_t, t)) / sqrt(α_t) + σ_t × z

其中 z 是额外的小噪声（用于维持随机性），σ_t 控制每一步的噪声量。经过 T 步反向过程后，我们得到一张全新的生成图像 x_0。

import numpy as np
import torch

def linear_beta_schedule(timesteps=1000, beta_start=0.0001, beta_end=0.02):
    """线性噪声调度：beta_t 从 beta_start 线性增长到 beta_end"""
    return np.linspace(beta_start, beta_end, timesteps, dtype=np.float64)

def q_sample(x_start, t, sqrt_alphas_cumprod, sqrt_one_minus_alphas_cumprod):
    """前向加噪：一步计算 t 时刻的噪声图像
    x_t = sqrt(alpha_bar_t) * x_0 + sqrt(1 - alpha_bar_t) * epsilon
    """
    noise = torch.randn_like(x_start)
    sqrt_alpha_cum = torch.from_numpy(sqrt_alphas_cumprod)[t].float()
    sqrt_one_minus = torch.from_numpy(sqrt_one_minus_alphas_cumprod)[t].float()
    while sqrt_alpha_cum.dim() < x_start.dim():
        sqrt_alpha_cum = sqrt_alpha_cum[..., None]
        sqrt_one_minus = sqrt_one_minus[..., None]
    return sqrt_alpha_cum * x_start + sqrt_one_minus * noise, noise

# 使用示例：对一张 64×64 图像在不同时间步加噪
betas = linear_beta_schedule()
alphas = 1.0 - betas
alphas_cumprod = np.cumprod(alphas)
sqrt_ac = np.sqrt(alphas_cumprod)
sqrt_omac = np.sqrt(1.0 - alphas_cumprod)

image = torch.rand(1, 3, 64, 64)  # 模拟图像
for t_val in [100, 300, 500, 800]:
    t = torch.tensor([t_val])
    noisy, _ = q_sample(image, t, sqrt_ac, sqrt_omac)
    print(f"t={t_val}: 范围 [{noisy.min():.3f}, {noisy.max():.3f}]")

DDPM 直接在高维像素空间上操作，计算成本极高。 一张 512×512 的 RGB 图像有 786,432 个像素维度。在这个空间上运行 U-Net 进行 1000 步去噪，计算量是天文数字。Latent Diffusion Models（LDM，潜在扩散模型）的核心思想：不要在像素空间做扩散，先在低维的「潜空间」（Latent Space）中做扩散，最后再解码回像素空间。

3.1 变分自编码器（VAE）压缩

LDM 使用一个预训练的变分自编码器（VAE）：
-编码器 E：将高维像素图像 x 压缩为低维潜变量 z = E(x)
-解码器 D：将潜变量 z 还原为像素图像 x' = D(z)

压缩率通常是 4×4×4 = 64 倍。一张 512×512×3 的图像被压缩为 128×128×4 的潜变量。计算量减少 64 倍，而视觉质量几乎无损。。

3.2 潜空间中的扩散过程

在潜空间中，扩散模型的工作流程与 DDPM 完全相同——前向加噪、反向去噪——但数据维度大幅降低。U-Net 网络的参数量和计算量都成比例减少。

3.3 条件注入机制

LDM 通过交叉注意力（Cross-Attention）机制将条件信息（如文本提示词）注入到扩散过程中。具体来说：

1. 条件信息（如文本）通过一个编码器（如 CLIP 文本编码器）转换为条件向量 c
2. 在 U-Net 的每个残差块中，通过交叉注意力层将 c 与潜变量 z_t 交互
3. 去噪网络变为 ε_θ(z_t, t, c)，条件信息引导去噪方向这是 Stable Diffusion 能够理解文本提示词的核心机制。

Stable Diffusion 是扩散模型开源生态的基石，由 Stability AI 主导开发。它的架构演进代表了整个扩散模型社区的技术方向。

4.1 Stable Diffusion 1.x/2.x（2022 年）

SD 1.x 使用标准的 Latent Diffusion 架构：
-VAE：AutoEncoderKL，压缩率 64 倍
-去噪网络：U-Net，包含下采样、中间层、上采样和跳跃连接
-文本编码器：CLIP ViT-L/14
-条件注入：交叉注意力（Cross-Attention）
-分辨率：512×512（SD1），768×768（SD2）

SD 1.x 的里程碑意义：首次将扩散模型带入消费级 GPU 可运行的范围。RTX 3060（12GB VRAM）即可运行 SD 1.5 生成 512×512 图像。

4.2 Stable Diffusion XL（2023 年）

SDXL 在架构上做了多项升级：
-双文本编码器：CLIP ViT-L/14 + OpenCLIP ViT-bigG/14
-更大的 U-Net：参数量从 860M 增加到 2.6B
-更高分辨率：原生支持 1024×1024
-Refiner 机制：两个阶段的生成——Base 模型生成低分辨率草图，Refiner 模型提升细节

4.3 Stable Diffusion 3（2024 年）

SD3 是架构上的重大革命：
-DiT（Diffusion Transformer）替代 U-Net：使用 Transformer 架构替代卷积网络
-MM-DiT（Multi-Modal Diffusion Transformer）：统一的文本-图像建模架构
-流匹配（Flow Matching）：替代传统的 DDPM 噪声调度，采样效率更高
-文本编码器：CLIP + T5-XXL（11B 参数），大幅提升文字理解和生成能力

4.4 Stable Diffusion 3.5（2024-2025 年）

SD 3.5 系列是 SD3 的迭代优化：
-多尺寸支持：SD 3.5 Large（2.6B）、SD 3.5 Medium（1.5B）、SD 3.5 Turbo（快速采样）
-图像质量提升：更好的手部渲染、文字生成、复杂构图
-开源许可：社区版可商用，研究版完全开放

SD3 最重要的架构变化是用 DiT（Diffusion Transformer）替代了传统的 U-Net 去噪网络。 这不仅仅是「换了一个网络」——它代表了扩散模型架构范式的根本转变。

5.1 U-Net 的局限性

传统 U-Net 在扩散模型中使用了多年，但它有明显的局限性：
-局部感受野 ：卷积操作只关注局部邻域，长距离依赖需要通过多层堆叠才能捕获
- 分辨率固定： U-Net 的下采样/上采样结构针对特定分辨率设计，跨分辨率迁移困难
-多模态融合笨重：文本条件需要通过交叉注意力注入，架构复杂且不够统一

5.2 DiT 的核心设计

DiT（由 Meta AI 在 2022 年底提出）将扩散模型的去噪过程完全用 Transformer 实现：

• Patch Embedding 361：将图像切分为固定大小的 patch（如 2×2 像素），每个 patch 展平为一个向量，加上位置编码后送入 Transformer 438
• Transformer Blocks455 467：使用标准的多头自注意力（Multi-Head Self-Attention）和前馈网络（FFN），没有卷积
• AdaLN（Adaptive Layer Normalization）：将时间步 t 的信息通过 AdaLN 注入到每个 Transformer Block 中
• 条件注入：文本条件也通过 AdaLN 注入，与时间步 t 共享同一套调制机制

5.3 DiT 的优势

-全局感受野 ：自注意力天然地让每个 patch 能够与所有其他 patch 交互，长距离依赖一步到位
- 扩展性好： Transformer 的 scaling law 已被 LLM 充分验证——增大模型规模和训练数据，性能单调提升
-架构统一：DiT 可以自然地处理文本、图像、视频等多种模态，为多模态扩散模型奠定基础MM-DiT（Multi-Modal DiT）是 DiT 的多模态版本，在 SD3 中使用。它将文本 patch 和图像 patch 拼接后一起送入 Transformer，通过自注意力实现文本-图像的深度交互，而不是简单的交叉注意力注入。

扩散模型的真正威力不在于「能生成图像」，而在于「能按你的要求生成图像」。 可控生成技术是扩散模型从学术走向产业的关键。

6.1 Classifier-Free Guidance（CFG）

CFG 是扩散模型最基础的可控生成技术。核心思想：

• 训练时，以一定概率（如 10%）随机丢弃条件信息，让模型同时学习有条件和无条件的去噪
• 采样时，同时运行有条件预测 ε_θ(z_t, t, c) 和无条件预测 ε_θ(z_t, t, ∅)
• 最终预测 = 无条件预测 + guidance_scale × (有条件预测 - 无条件预测)guidance_scale（引导强度） 是可调参数：值越大，生成结果越贴近条件，但多样性降低；值越小，生成结果越随机，但可能偏离条件。典型值为 7-12。

6.2 ControlNet：空间条件控制

ControlNet（2023 年初由 ControlNet 团队提出）解决了 CFG 无法精确控制空间布局的问题：
-原理 ：复制预训练扩散模型的编码器部分，通过零卷积层连接，输入额外的空间条件（如边缘图、深度图、姿态骨架）
- 优势： 不破坏原始模型的生成能力，可以叠加多个 ControlNet（如同时使用边缘+深度+姿态）
-应用：草图生成图像、姿态迁移、深度引导生成、面部 landmarks 控制

6.3 IP-Adapter：图像提示生成

IP-Adapter 让扩散模型能够以「图片」作为条件，而不是只能用文字：

• 原理 ： 将参考图像通过 CLIP 图像编码器处理，注入到扩散模型的去噪过程中
• 应用：风格迁移、角色一致性、图像编辑、面部替换

6.4 2026 年的可控生成进展

• InstantID：零样本面部身份保持，无需训练
• PuLID：纯净且忠诚的身份注入，减少风格泄漏
• Regional Prompter 833：分区提示词，不同区域使用不同提示词
• BrushNet：局部图像修复（Inpainting）的高级控制

import torch

def cfg_sample(model, x_t, t, text_condition, guidance_scale=7.5):
    """Classifier-Free Guidance 采样

    核心思想：同时进行有条件和无条件预测，
    通过 guidance_scale 控制条件引导的强度。
    """
    # 有条件预测：传入文本条件
    cond_noise = model(x_t, t, context=text_condition)

    # 无条件预测：文本条件为空
    uncond_noise = model(x_t, t, context=None)

    # CFG 公式：最终预测 = 无条件 + scale × (有条件 - 无条件)
    predicted_noise = uncond_noise + guidance_scale * (cond_noise - uncond_noise)

    return predicted_noise

# 采样循环示例
def generate_image(model, text_prompt, steps=30, guidance_scale=7.5, image_size=512):
    """完整的扩散模型图像生成流程"""
    # 1. 从纯噪声开始（潜空间）
    x = torch.randn(1, 4, image_size // 8, image_size // 8)

    # 2. 编码文本提示
    text_embed = clip_text_encode(text_prompt)

    # 3. 逐步去噪
    for step in reversed(range(steps)):
        t = torch.tensor([step * 1000 // steps])
        noise_pred = cfg_sample(model, x, t, text_embed, guidance_scale)
        x = denoise_step(x, noise_pred, t)

    # 4. VAE 解码：潜空间 → 像素空间
    image = vae_decode(x)
    return image

print("CFG 采样：有条件 + 无条件 = 精确可控生成")

扩散模型最大的缺点是慢。 原始 DDPM 需要 1000 步去噪，即使优化后也需要 20-50 步。在 2026 年，加速技术已经大幅缩小了这个差距。

7.1 DDIM（Denoising Diffusion Implicit Models）

DDIM 是第一个重要的加速技术：
-核心思想 ：将扩散过程从随机过程（马尔可夫链）改写为确定性过程（ODE），可以用更少的步数求解
- 加速效果： 从 1000 步减少到 50 步，质量损失很小
-局限性：仍然需要 50 步，对于实时应用还是太慢

7.2 DPM-Solver

DPM-Solver 基于扩散过程的 ODE 公式，使用高阶 ODE 求解器：

• 加速效果：10-20 步即可达到 DDIM 50 步的质量
• 原理：利用扩散过程的数学结构，每一步做更高精度的预测

7.3 LCM（Latent Consistency Models）

LCM 是 2023 年底提出的革命性加速技术：

• 核心思想 ：训练模型直接从任意噪声步跳到目标步，跳过中间步骤
• 加速效果：4 步即可生成高质量图像
• 代价：需要额外训练，并且质量在高 guidance 下略逊于标准扩散

7.4 SDXL Turbo / SD3 Turbo

Stability AI 的 Turbo 系列基于 LCM 和知识蒸馏：

• 单步生成 ：通过对抗蒸馏，SDXL Turbo 可以 1 步生成图像
  - 质量权衡：单步质量低于 4 步，但已经可以用于快速预览和交互式应用

7.5 流匹配（Flow Matching）

SD3 使用的流匹配是一种新的采样框架：

• 核心思想 ：直接学习从噪声到数据的「流」（连续变换），而不是逐步去噪
• 优势 ：采样效率更高，通常 10-25 步就能达到很好的质量
• 数学基础：连续归一化流（CNF）和最优传输理论

2026 年，AI 图像生成有三条主要技术路线，各有优劣。

8.1 扩散模型（Diffusion Models）

代表：Stable Diffusion、DALL-E 3、Midjourney、Flux

• 优势 ： 训练稳定、生成质量高、多样性好、可控性强、开源生态丰富
  -劣势： 采样速度慢（即使加速后仍比 GAN 慢）、计算资源需求高
  -适用场景： 高质量图像生成、艺术创作、产品设计、广告制作

8.2 GAN（生成对抗网络）

代表：StyleGAN3、EGAN

• 优势： 采样极快（单次前向传播）、实时性好、适合视频和交互式应用 - 劣势 ： 训练不稳定、模式崩溃、多样性差、可控性有限- 适用场景：实时图像生成、风格迁移、人脸生成、视频游戏

8.3 自回归模型（Autoregressive Models）

代表：Parti、Imagen（部分）、Muse

• 优势 ： 训练简单（交叉熵损失）、天然支持自回归条件生成
• 劣势 ： 生成质量不如扩散模型、长序列生成容易累积误差
• 适用场景 ：文本到图像生成、多模态理解、序列生成

8.4 2026 年的融合趋势

三条路线正在融合：

• Diffusion + Transformer 563：SD3 的 DiT 架构
• GAN + Diffusion599：对抗蒸馏加速扩散模型（SDXL Turbo）
• 自回归 + Diffusion 643：自回归生成粗略结构 + 扩散精细化（Cascade 系列）扩散模型在质量和可控性上已经占据主导地位，但 GAN 在速度上仍有优势。未来的趋势是混合架构——用扩散模型保证质量，用 GAN 或蒸馏技术提升速度。

扩散模型的最大优势是开源生态的繁荣。 从模型权重到训练框架，从用户界面到插件系统，扩散模型拥有 AI 领域最活跃的开源社区。

9.1 核心开源项目

• Diffusers（Hugging Face） ：Python 库，支持几乎所有主流扩散模型的推理和微调。是扩散模型开发的「标准库」。
• ComfyUI：节点式扩散模型工作流界面，支持自定义节点和复杂管线。适合高级用户。
• Automatic1111 / Forge 221：Web UI，最流行的扩散模型前端。适合日常使用。
• InvokeAI：专业级扩散模型界面，支持专业工作流管理。

9.2 模型权重来源

• Civitai：最大的扩散模型社区平台，数百万用户共享的模型、LoRA、嵌入
• Hugging Face Hub 366367：官方模型权重和开源社区模型- Stability AI API 403：SD 系列的官方 API 服务

9.3 微调技术

• LoRA（Low-Rank Adaptation）：低秩适配器，用少量数据微调特定风格或角色，模型文件仅数 MB 到数十 MB
  - DreamBooth：个性化微调，用 3-5 张图片训练主体特定外观
• Textual Inversion 567560：学习新的文本嵌入向量，将新概念注入模型

9.4 2026 年的新趋势

-视频扩散模型 ： Sora、Kling、CogVideoX、Luma Dream Machine——扩散模型从图像扩展到视频
-3D 扩散模型 ： 直接生成 3D 模型和场景
-音频扩散模型： 用扩散模型生成音乐和音效
-多模态统一： 一个扩散模型同时处理图像、视频、3D、音频

2026 年下半年，扩散模型进入了新一轮技术爆发期。

从 DiT 架构的深度迭代到视频扩散的商业化落地，从物理 AI 的开源突破到科学计算的全新应用——扩散模型正在从"图像生成工具"进化为"通用世界模型"的基石。

10.1 DiT 架构的持续演进

SD3 将 DiT（Diffusion Transformer）带入主流视野后，2026 年的 DiT 家族已经形成了完整的技术谱系：

SD3.5 系列（Stability AI）在 2024-2025 年的基础上进一步迭代，引入了更高效的 分块注意力（Chunked Attention）机制 和混合精度训练策略，使 SD3.5 Large（8B 参数）在推理速度上提升了约 40%，同时在复杂场景的构图一致性上有了显著改善。

Flux.2（Black-Forest-Labs）于 2025 年 11 月发布后，在 2026 年持续迭代。Flux.2 的核心优势在于其流匹配（Flow Matching）训练框架和极其优秀的文字生成能力——它可以在图像中准确渲染多行长文本，这在之前的扩散模型中几乎是无法完成的任务。Flux.2 还引入了动态分辨率适应技术，可以在从 512×512 到 2048×2048 的分辨率范围内生成一致质量的图像，无需重新训练。

DiT 架构的另一个重要发展是规模化的 Scaling Law 验证。随着模型参数从 1B 增长到 8B 再到 20B+，生成质量的提升呈现可预测的对数线性关系——这与 LLM 的 Scaling Law 极其相似。这一发现意味着 DiT 架构在未来仍有巨大的性能提升空间，只要算力和数据持续增长，DiT 的性能上限远未触及。

10.2 视频扩散模型的崛起

2026 年被广泛认为是「视频扩散模型元年」。多个重量级模型在这一年实现了从实验室到产品级的跨越：Sora（OpenAI）在 2024 年首次亮相后，于 2026 年正式向更广泛的用户群体开放。Sora 的核心技术突破在于将视频生成统一为一个时空扩散过程——在时间和空间两个维度同时进行去噪，生成 60 秒以上的高清视频。Sora 的最新版本引入了物理一致性约束，确保生成的视频中物体的运动轨迹、光影变化、流体动力学都符合物理规律。 Kling 2.0（快手）在 2026 年实现了重大升级。Kling 2.0 的核心优势是生成长视频的能力——支持最高 10 分钟的视频生成，并且在视频连贯性和动作自然度上达到了新的水准。Kling 2.0 引入了分层时序建模 （Hierarchical Temporal Modeling），先粗略规划视频的整体结构，再逐帧细化细节。Runway Gen-41178（Runway）则专注于 创作者工作流的深度集成。Gen-4 不仅是视频生成模型，更是一个完整的视频创作平台——支持文本生成视频、图像生成视频、视频风格迁移、视频编辑等多种模式。 Gen-4 的创新在于将扩散模型与传统的视频后期制作工具（调色、剪辑、特效）无缝整合，让创作者在一个平台上完成从生成到成片的全流程。 视频扩散模型面临的核心挑战仍然是计算成本。生成一段 10 秒的 1080p 视频可能需要数百到数千次扩散步骤，即使使用最新的加速技术，推理时间仍然以分钟计。2026 年的研究重点之一是视频扩散模型的蒸馏和加速——通过知识蒸馏将百步模型压缩为 10-20 步，同时保持视频质量。

10.3 物理 AI 与扩散模型的交叉

NVIDIA 在 2026 年开源了 Cosmos 3 物理 AI 模型，这是扩散模型与物理世界模拟的一次里程碑式融合。 Cosmos 3 的核心能力 ：通过扩散模型学习物理世界的动态规律，使 AI 不仅能生成视觉上逼真的图像和视频，还能生成物理上合理的内容。例如，Cosmos 3 可以生成符合重力、碰撞、流体力学的物理模拟视频，用于机器人训练和自动驾驶仿真。 Cosmos 3 的技术路线 ：
- 世界模型（World Model）： 将扩散模型从"生成静态内容"扩展为"预测动态演化"。给定初始场景和动作指令，Cosmos 3 可以预测接下来数秒内场景的变化。
-物理约束注入 ：在扩散模型的去噪过程中注入物理定律约束——如动量守恒、能量守恒、刚体碰撞——使生成结果不仅视觉上合理，物理上也合理。
- 多模态物理理解 ： Cosmos 3 可以同时处理视觉、深度、力觉等多种传感器数据，构建统一的物理世界理解。物理 AI 的意义远超图像生成——它是通向通用具身智能（Embodied AI）的关键一步。 当扩散模型能够理解并模拟物理世界时，它就成为了机器人训练、自动驾驶仿真、工业数字孪生的核心基础设施。。

10.4 扩散模型在 3D 生成和科学计算中的新应用

3D 生成是 2026 年扩散模型最激动人心的新方向之一： DreamFusion 的后续发展在 2026 年结出了丰硕成果。新一代 3D 扩散模型可以直接从文本提示生成高质量的 3D 模型 ，包括网格（Mesh）、点云（Point Cloud）和神经辐射场（NeRF）。这些模型在游戏开发、产品设计、虚拟现实等领域具有巨大的商业价值。 3DGen（Microsoft）和Shap-E 2.0（OpenAI）是这一领域的代表性模型。它们使用扩散模型在 3D latent space 中进行去噪，生成的 3D 模型具有合理的拓扑结构和表面细节，可以直接用于 3D 打印或游戏引擎。 科学计算中的扩散模型应用也在快速扩展： 气象预报 ：扩散模型被用于天气预报和气候模拟——通过扩散过程学习大气动力学，生成的天气预报在精度上逼近传统的数值天气预报模型（NWP），但计算速度快几个数量级。 蛋白质结构预测 ：扩散模型被用于蛋白质折叠和分子动力学模拟。RFdiffusion 等模型可以在蛋白质设计任务中生成全新的、功能性的蛋白质结构，为药物发现和合成生物学开辟了新路径。 材料科学：扩散模型被用于晶体结构生成和新材料发现——通过学习已知材料的结构分布，生成具有特定物理化学性质的候选材料结构，大幅加速材料研发流程。

10.5 2026 下半年扩散模型生态全景

扩散模型的生态正在从"图像生成"向"世界建模"全面扩展。 理解这个生态的全貌对于把握未来技术方向至关重要。