pMF开启像素级生成：何恺明团队新作如何实现无潜单步成像

免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈

机器之心编辑部

何恺明团队新论文，再次诠释“大道至简”。

这项研究直指当前以 DiT 为代表的主流扩散模型与流匹配模型存在的通病，并提出了一种用于单步、无潜空间的图像生成新框架。

论文标题：One-step Latent-free Image Generation with Pixel Mean Flows

在生成式 AI 领域，追求更高效、更直接的生成范式一直是学界的核心目标。

当前，以 DiT 为代表的主流扩散模型与流匹配模型主要依赖两大支柱来降低生成难度，一是通过多步采样将复杂的分布转换分解为微小的步进，二是在预训练 VAE（变分自编码器）的潜在空间中运行以降低计算维度。

尽管这些设计在图像质量上取得了巨大成功，但从深度学习“端到端”的精神来看，这种对多步迭代和预置编码器的依赖，无疑增加了系统的复杂性和推理开销。

面对这些挑战，何恺明团队提出了用于单步、无潜空间图像生成的 Pixel MeanFlow（pMF）框架。该框架继承了改进均值流（Improved MeanFlow， MF）的思路，通过在瞬时速度（即 v）空间内定义损失函数，来学习平均速度场（即 u）。

与此同时，受“仅图像变换器”（JiT）的启发，pMF 直接对类似于去噪图像的物理量（即 x-prediction 值）进行参数化，并预期该物理量位于低维流形上。

为了兼容这两种设计，团队引入了一种转换机制，将 v、u 和 x 三个场联系起来。实验证明，这种设计更符合流形假设，并且产生了一个更易于学习的目标（见下图 1）。

概括来说，pMF 训练了一个能将噪声输入直接映射为图像像素的网络。它具备“所见即所得”的特性，而这在多步采样或基于潜在空间的方法中是不存在的。这一特性使得感知损失能够自然地集成到 pMF 中，从而进一步提升生成质量。

实验结果显示，pMF 在单步、无潜空间生成方面表现强劲，在 ImageNet 数据集上，256x256 分辨率下的 FID 达到 2.22，512x512 分辨率下达到 2.48。团队进一步证明，选择合适的预测目标至关重要：在像素空间直接预测速度场会导致性能崩溃。