Consistency Model

一句话解释

Consistency Model是一种生成模型，通过约束模型在连续噪声水平上输出保持一致，从而实现从随机噪声到高质量样本的快速生成。

为什么会被关注

传统扩散模型需要数十甚至数百步迭代推理才能生成一张高质量图像，速度慢且计算成本高。Consistency Model的出现打破了这一瓶颈，只需单步或少数几步即可获得可比拟的结果，极大提升了推理效率。

在实时应用场景中，如交互式图像编辑、视频帧生成等，速度是关键。Consistency Model的快速采样能力使其成为部署到边缘设备或实时系统的理想选择，因此受到学术界和工业界的广泛关注。

核心逻辑

Consistency Model的核心是学习一个一致性函数 f(x_t, t)，它将任意时间步 t 的噪声数据 x_t 映射到数据分布中同一初始点的估计。通过自一致性训练或对预训练扩散模型进行蒸馏，使得 f 沿着概率流ODE（常微分方程）路径保持输出不变。

具体来说，模型被训练使得对于任意两个相邻时间步 t 和 s，f(x_t, t) ≈ f(x_s, s)。这种约束迫使模型学会逆向扩散过程，从而能够一步从纯噪声直接跳转到干净样本，而不需要逐步去噪。

常见场景

在图像生成领域，Consistency Model被用于文本到图像生成、超分辨率、图像修复等任务，显著缩短采样时间。例如，在Stable Diffusion基础上应用一致性蒸馏，可以将数十步的采样压缩到1-2步。

除了图像，还可用于视频生成（如帧插值）、音频生成、三维模型生成等需要快速采样的场景。同时，它也是扩散模型蒸馏的有效工具，帮助现有扩散模型在不牺牲太多质量的前提下加速推理。

容易混淆的点

容易与机器学习中的“一致性正则化”混淆，后者是一种防止过拟合的约束技巧。也容易与统计中的“一致性估计”混淆，指估计量随样本量增大收敛到真实值。在AI生成领域，Consistency Model特指基于概率流ODE的生成模型。

与一步生成GAN不同，Consistency Model的理论基础来自扩散过程的连续时间动力学，具有更明确的概率解释和更好的模式覆盖能力。它不是对抗训练，而是基于自一致性损失或蒸馏损失，训练更加稳定。

与扩散模型的关系

Consistency Model可以看作是扩散模型的加速版本或衍生体。它利用扩散模型的前向过程定义噪声分布，但改变了反向采样的方式：扩散模型用马尔可夫链逐步去噪，而Consistency Model学习一个直接的映射。

训练Consistency Model有两种主流方法：一种是直接训练后（称为consistency训练），另一种是从预训练扩散模型中蒸馏（称为consistency蒸馏）。后者能更稳定地继承扩散模型的知识，生成质量更高。