Flow Matching

Flow Matching（流匹配）是一种基于连续归一化流的生成建模范式，通过直接回归条件概率路径的速度场来训练模型，无需模拟正向扩散过程。它兼具训练稳定、推理步数少的优势，已成为扩散模型之外最受关注的生成建模路线之一，Stable Diffusion 3、FLUX 等主流模型均以此为核心。

Flow Matching 将生成过程建模为从简单分布（如标准正态）到数据分布的连续流变换，以常微分方程描述这一过程。

• 连续归一化流（CNF）：以 ODE 描述概率质量从噪声到数据的连续运输，生成路径可设计为近似直线
• 速度场回归：训练目标是回归固定条件概率路径对应的向量场（vector field），避免了扩散模型中复杂的随机微分方程模拟
• 无模拟训练：相比传统 CNF，Flow Matching 无需在前向传播中积分 ODE，大幅降低训练成本
• 最优传输路径：默认使用最优传输（Optimal Transport）插值定义条件路径，使生成轨迹更直、推理步数更少

Flow Matching 的训练与推理均围绕条件速度场展开，通过解析解绕开昂贵的数值积分。

• 条件流匹配目标（CFM）：对每个数据点单独定义条件路径和速度场，边际化后得到可计算的训练损失，避免积分不可解问题
• 插值路径构造：训练时在噪声样本 $x_0$ 与数据样本 $x_1$ 之间线性插值构造中间状态 $x_t = (1-t)x_0 + tx_1$
• 速度场参数化：神经网络预测时刻 $t$ 时的速度向量 $v_\theta(x_t, t)$，线性插值路径下真实速度为常数 $x_1 - x_0$，目标极为简洁
• 推理采样：固定起点为噪声，用数值 ODE 求解器（如欧拉法）沿速度场积分至 $t=1$ 得到生成样本，通常只需数步到数十步

Flow Matching 与扩散模型在概率路径框架上高度相关，但在训练目标和采样效率上有本质差异。

• 训练目标更直接：Flow Matching 直接回归速度场，DDPM 类方法回归噪声或得分函数，引入额外近似；两者数学上可互相转化，扩散路径是 Flow Matching 的特殊情形
• 轨迹更平直：最优传输插值产生近似直线的生成路径，求解 ODE 所需步数远少于扩散模型的迭代去噪步数
• 推理加速显著：在等质量条件下，Flow Matching 推理速度可比扩散模型快数十倍
• 训练更稳定：直接回归解析速度场，损失函数方差更低，训练曲线更平滑

Flow Matching 从连续归一化流研究中演化而来，在短短几年内迅速成为主流生成框架。

• 2018：Neural ODE（Chen et al.）奠定连续归一化流基础，但训练需穿过 ODE 求解器，成本高昂
• 2022：Lipman 等（Meta FAIR）发布「Flow Matching for Generative Modeling」，提出无模拟 CFM 训练框架；Liu 等同期独立提出 Rectified Flow，强调线性路径与 reflow 蒸馏
• 2022-2023：Albergo & Vanden-Eijnden 提出 Stochastic Interpolants，从理论层面统一 Flow Matching 与 Score Matching
• 2023：论文在 ICLR 2023 正式发表；Meta Voicebox 将 Flow Matching 引入大规模 TTS；Riemannian Flow Matching 扩展至蛋白质等流形数据
• 2024：Stable Diffusion 3（Stability AI）与 FLUX（Black Forest Labs）均采用 Rectified Flow 架构；Meta Movie Gen、Google Veo 视频生成模型亦以 Flow Matching 为基础

Flow Matching 已在多个模态的生成任务中取得领先效果，从图像到科学计算均有落地。

• 图像生成：SD3、FLUX 等主流文生图模型的训练范式，在 FID 等评测指标上达到业界前沿
• 视频生成：Meta Movie Gen、Google Veo 等大规模视频模型的技术基础，推理步数少有助于降低视频生成的计算开销
• 语音合成：Meta Voicebox（2023）以非自回归方式生成高质量语音，是 Flow Matching 在音频领域的标志性应用
• 蛋白质与分子设计：Riemannian Flow Matching 自然扩展至 SO(3)、SE(3) 等非欧空间，在蛋白质骨架生成和小分子对接中表现出色
• 科学仿真：在气候模拟、粒子物理事件生成等领域，Flow Matching 用于对复杂分布进行高效采样

Flow Matching 有若干实践局限和常见认知误区值得注意。

• 误区：线性路径等于单步生成：线性路径减少了积分步数，但实际推理仍需多步；真正的单步生成需要额外的蒸馏（Reflow/Distillation），不是 Flow Matching 本身带来的
• 路径设计影响显著：条件路径的选择（线性、OT 配对、余弦等）对训练收敛速度和推理步数均有影响，最优设计仍无通用定论
• 离散域适用性有限：标准 Flow Matching 定义在欧氏连续空间，用于文本 token 等离散域需要专门设计（如 Discrete Flow Matching）
• ODE 求解器精度权衡：步数越少速度越快，但积分误差越大，需根据任务质量要求选择合适的求解器和步数