VAE（变分自编码器）

VAE 在深度生成模型谱系中与 GAN 并列为最具影响力的早期框架。

• 核心改进：普通自编码器将输入压缩为固定向量，VAE 改为输出描述潜变量分布的均值 μ 和方差 σ²，再从该分布采样后解码。
• 连续潜空间：采样机制使潜空间具有平滑结构，两个潜向量之间插值通常产生语义连贯的中间态。
• 训练目标：最大化 ELBO（证据下界），同时兼顾重建质量与潜分布正则性。
• 双重角色：既是生成模型（采样生成新样本），又是表示学习工具（学习结构化潜表示）。

VAE 前向过程分为编码、采样、解码三步，核心在于让梯度穿透采样操作。

• 编码器：将输入 x 映射为 μ 和 log σ²，描述近似后验分布 q(z|x)。
• 重参数化技巧：令 z = μ + σ·ε（ε 独立采样自标准正态），将随机采样转化为确定性运算，使梯度可反向传播——这是原论文的关键技术创新。
• 解码器：接收 z 重建输入，建模 p(x|z)。
• ELBO 两项：重建损失（像素均方误差或交叉熵）+ KL 散度（编码器分布与先验 N(0,I) 的距离，起正则化作用）。
• 后验坍塌风险：KL 压力过强时解码器绕过潜变量直接记忆数据，KL 散度趋近零，在文本序列模型上尤为常见。

VAE 衍生出多条不同方向的变体，覆盖解耦、离散化与条件生成。

• β-VAE：将 KL 项乘以系数 β > 1，以更强正则换取潜变量各维度语义解耦，由 Higgins 等人于 2017 年（ICLR 2017）提出，是表示学习研究常用基线。
• VQ-VAE：以离散码本（codebook）替换连续潜空间，通过向量量化避免后验坍塌，由 DeepMind 于 2017 年提出；VQ-VAE-2 引入多尺度层级码本，影响了 DALL-E 第一版设计。
• 条件 VAE（CVAE）：在编解码器中注入标签或属性，实现受控生成，于 2015 年前后提出。
• 感知压缩 VAE：Stable Diffusion 系列（SD 1.x / SDXL / SD 3）使用的 AutoencoderKL，侧重高保真重建，空间压缩倍率通常为 8×，属工程定制变体。

VAE 在图像生成、异常检测与科学计算中均有重要落地。

• 潜扩散模型前置压缩：Stable Diffusion 用 VAE 将像素图像编码到低维潜空间，扩散去噪在潜空间进行，再由 VAE 解码器还原，计算量远低于直接在像素空间扩散。
• 异常检测：利用重建误差区分正常与异常样本，重建误差显著偏高的样本被标记为异常，适合工业质检、网络流量分析等场景。
• 药物与分子设计：学习小分子 SMILES 或蛋白质序列的连续潜表示，在潜空间做贝叶斯优化搜索具有目标性质的新分子结构。
• 数据增强与插值：在潜空间插值生成新样本，用于扩充稀有类别训练数据。

VAE 在生成模型家族中定位独特，与多个相邻概念既有竞争又有协作。

• VAE vs GAN：VAE 训练更稳定（无对抗博弈），潜空间有明确概率结构；但像素级损失使生成图像偏模糊，GAN 的判别器可施加感知级约束，视觉质量通常更高。
• VAE vs 扩散模型：VAE 一步解码速度快，扩散模型生成质量和多样性更强；现代扩散模型常把 VAE 作为感知压缩前置层，二者协作而非竞争。
• VAE vs 归一化流：归一化流要求编解码严格可逆，网络设计约束更强；VAE 的近似推断更灵活但引入 ELBO gap（下界与真实对数似然的差距）。
• VAE vs 普通自编码器：普通自编码器无概率结构，潜空间不连续，难以直接采样生成，仅适合重建与压缩任务。

VAE 存在若干结构性局限，也有几个常被混淆的认知误区。

• 生成模糊：均方误差损失对所有可能重建取平均，导致图像偏模糊；引入感知损失或对抗损失可部分缓解，但不能根本解决。
• 后验坍塌：序列数据（文本）上尤为严重，KL 退火（KL annealing）、Free Bits 等是常见对策，但各有副作用。
• 误区一：认为 Stable Diffusion 的 VAE 是生成主体——实际上它只负责压缩与还原，生成多样性来自扩散过程，与 VAE 无关。
• 误区二：把 ELBO 等同于对数似然——ELBO 只是对数似然的下界，不能直接用 ELBO 值跨模型比较真实生成质量。

VAE 从提出到成为现代扩散模型的基础组件，历经约十年演进。

• 2013：Kingma & Welling 于 12 月提交 「Auto-Encoding Variational Bayes」，引入重参数化技巧，奠定变分推断与深度网络结合的基础；Rezende 等人同年独立提出类似随机反向传播框架。
• 2015：条件 VAE（CVAE）提出，将类别或属性信息注入编解码器，实现可控生成。
• 2017：β-VAE 在 ICLR 2017 发表，通过调节 KL 系数探索解耦表示；VQ-VAE 由 DeepMind 发布，以离散潜空间克服后验坍塌。
• 2019：VQ-VAE-2 引入多尺度层级码本，在高分辨率图像生成上达到接近 GAN 的质量。
• 2021：DALL-E 第一版基于 dVAE（离散 VAE）做文本到图像生成，验证 VAE 在多模态中的潜力。
• 2022 至今：Stable Diffusion 系列将 VAE 定型为潜扩散模型的标准感知压缩层，VAE 成为文生图基础设施的核心模块。