Flow Matching

概述

Flow Matching (FM) 是 2023 年由 Meta AI 提出的一种生成建模范式，基于连续归一化流（Continuous Normalizing Flows, CNF）。它摒弃了扩散模型的 SDE 推导方式，直接在概率路径层面设计生成过程，通过回归向量场实现仿真自由（simulation-free）训练。核心优势：泛化了扩散模型，并引入 OT 路径实现更高效训练和采样。

核心原理

连续归一化流（CNF）

• 向量场 $v_t(x)$ 通过 ODE $\frac{d}{dt}{\varphi }_t(x)=v_t({\varphi }_t(x))$ 定义流映射 ${\varphi }_t$。
• ${\varphi }_t$ 将简单先验分布 $p_0$（如高斯噪声）push-forward 为目标数据分布 $p_1$：$p_t=[{\varphi }_t{]}_{\ast }{p}_0$。

Flow Matching 目标

• 直接回归目标向量场：${\mathcal{L}}_{\text{FM}}(\theta )={\mathbb{E}}_{t,p_t(x)}\Vert v_t(x)-u_t(x){\Vert }^2$
• 问题：$u_t$ 通常是不可处理（intractable）的。

Conditional Flow Matching (CFM)

• 核心技巧：通过在条件概率路径 $p_t(x|x_1)$ 上定义条件向量场 $u_t(x|x_1)$，证明 CFM 目标与 FM 目标梯度相同。
• ${\mathcal{L}}_{\text{CFM}}(\theta )={\mathbb{E}}_{t,q(x_1),p_t(x|x_1)}\Vert v_t(x)-u_t(x|x_1){\Vert }^2$
• 只要能从 $p_t(x|x_1)$ 采样并计算 $u_t(x|x_1)$ 即可。

高斯条件路径统一公式

• $p_t(x|x_1)=\mathcal{N}(x|{\mu }_t(x_1),{\sigma }_t(x_1{)}^{2}I)$
• 向量场：$u_t(x|x_1)=\frac{{\sigma }_t^{\prime }}{{\sigma }_t}(x-{\mu }_t)+{\mu }_t^{\prime }$
• 满足 ${\mu }_0=0,{\sigma }_0=1$（从噪声出发），${\mu }_1=x_1,{\sigma }_1={\sigma }_{\min }\approx 0$（到达数据）。

两种关键路径

扩散路径（Diffusion Path）

• VP 路径：${\mu }_t={\alpha }_{1-t}{x}_1$，${\sigma }_t=\sqrt{1-{\alpha }_{1-t}^2}$，对应 DDPM 的扩散过程。
• VE 路径：${\mu }_t=x_1$，${\sigma }_t={\sigma }_{1-t}$。
• FM 用扩散路径训练比 score matching 更稳定。

最优传输路径（OT Path）

• ${\mu }_t=t{x}_1$，${\sigma }_t=1-(1-{\sigma }_{\min })t$（均值方差均线性变化）。
• 向量场：$u_t(x|x_1)=\frac{x_1-(1-{\sigma }_{\min })x}{1-(1-{\sigma }_{\min })t}$
• 对应 Wasserstein-2 最优传输位移，形成直线轨迹和恒定速度。
• 相比扩散路径：训练更快收敛、采样需要更少 NFE、FID 更优。

为什么 Flow Matching 比扩散模型更快

1. 直线 vs 曲线路径：OT 路径是直线，扩散路径是曲线（可能”超调”），直线路径允许更少采样步数。
2. 定义在有限时间区间：$t\in [0,1]$ 而非 $[0,\infty )$，无需近似截断。
3. 向量场回归优于分数匹配：FM 直接回归向量场，训练更稳定，采样时无需 Langevin 动力学。
4. 与 Rectified Flow 的关系：Rectified flow 使用 $z_t=(1-t)x+t\epsilon$（固定方差=1 路径），可视为 FM-OT 在 ${\sigma }_{\min }=0$ 且无方差收缩的极限情况。FLUX 和 Seedream 3.0/4.0 均使用此路径。

实例应用

模型	使用的路径
原始 FM (Meta)	Diffusion (VP) / OT
FLUX.1 (BFL)	Rectified Flow (MMDiT)
FLUX.1 Kontext (BFL)	Rectified Flow + 序列拼接
Stable Diffusion 3	Rectified Flow (MMDiT)
Seedream 2.0/3.0/4.0	Flow Matching (MMDiT)