南洋理工大学零成本训练法让AI图像生成只看有用部分

来自南洋理工大学S-Lab实验室的一项最新研究成果，现已以预印本形式发布在arXiv平台，论文编号为2606.15236。毫不夸张地说，这篇文章提出的核心观点令人眼前一亮：研究人员发现，在整个AI图像生成训练过程中，有相当一部分算力被白白浪费了。更关键的是，他们给出了一种几乎不需要额外成本就能修复这一漏洞的方案，并将其命名为——频谱强制（Spectral Forcing，简称SF）。

先来了解一下背景。谈到AI绘画，大多数人首先想到的是那些能凭空生成逼真画面的模型。这些模型背后，大多依赖一套称为“扩散模型”的技术。其工作方式非常形象：好比一张清晰的照片，被人一点一点添加噪点，直到变成一片雪花屏；然后，反过来训练AI从雪花屏中，一步步将清晰的原始照片“还原”出来。

这个过程听起来挺合理。然而，南洋理工大学的研究团队发现了一个长期被忽视的浪费现象：在AI学习去噪的整个过程中，有相当一部分计算力实际上花在了毫无意义的地方。这不仅仅是理论上的猜想，他们不仅找到了问题，还拿出了修复方案。

一、AI画图时究竟在“看”什么？一个关于噪音与信号的故事

要想理解这项研究解决的是什么问题，必须先搞清楚AI在训练时面临的是什么处境。

以当前主流的“矫正流扩散”训练方式为例。在任何一个训练时刻，AI看到的都是一张“半成品图”——它介于纯粹的随机噪点和清晰的原始照片之间。训练时刻越靠近起点（即纯噪点阶段），图像就越模糊混乱；时刻越靠近终点（清晰照片），图像就越接近真实。AI的任务，就是在每一个时刻，预测“应该往哪个方向走才能得到真实图像”。

这里有一个关键规律。自然界的图片有一个普遍现象：图像中的细节（高频信息，比如纹理、边缘锯齿）天生就比粗略的轮廓（低频信息，比如大块颜色、整体形状）携带的能量要少得多。用声音来类比，低频就像低沉的鼓声，穿透力强、能量大；高频就像细碎的沙沙声，微弱且容易被淹没。而当噪点被加入图像时，那些微弱的高频细节信息几乎立刻就被噪点“盖住”了。

研究团队通过数学推导，画出了一条清晰的界线：在任何给定的训练时刻，图像中频率超过某个临界值的细节，其实已经完全被噪点淹没，根本不可能从中提取到任何有用信息。这条临界线可以用一个公式精确描述，它会随着训练时刻向“清晰照片”方向推进而不断扩展，允许越来越多的细节频率“露出水面”。

这本来是一个中性的事实。但问题在于，AI并不知道这条界线的存在。它可怜巴巴地在每个时刻都得同时处理图像的所有频率——包括那些被噪点完全覆盖、根本不包含任何有用信息的高频部分。换句话说，AI在花大力气去学习一堆毫无意义的东西。

二、被浪费的计算力：AI在“学习”毫无意义的东西

为了证实这个猜想，团队做了一个直觉上简单但很有说服力的实验。他们训练了一个小型AI模型，让它从合成数据中学习，然后检查这个模型在每个“时刻-频率”组合上的表现。关键对比是：AI的预测，比起最简单不过的基线——也就是“什么都不做、直接输出零”这个方案，到底好多少？

结果呈现出一张非常清晰的地图，形状如同一个楔形区域。在低频区域以及训练时刻靠近清晰图像的区域，AI确实在做有价值的工作，学到了数据的真实分布。但在高频区域以及时刻靠近噪点的区域，出现了两种情况：要么AI的预测退化成一个固定的数学公式（因为噪点覆盖了信号，AI只能机械地“去掉噪点”，和数据本身无关）；要么AI的预测甚至不如最简单的基线方案。

换句话说，AI把大量计算资源花在了两类完全没有意义的事情上：一类是解一道固定方程，另一类是连方程都没解好。

更有说服力的是，团队把同样的检验方法用在一个真实的大型模型上——在ImageNet数据集（一个包含大量真实照片的测试集）上训练的模型。结果同样清晰地发现了这个“楔形结构”。那些高频、早期时刻的区域，AI的表现甚至不如零预测基线。这说明，浪费计算力的现象不是理论推演，而是真实存在于实际模型之中的。

三、频谱强制：一把随时间伸缩的“低通滤镜”

既然问题找到了，解决方案就顺理成章了。能不能在每个训练时刻，直接把那些被噪点覆盖、毫无价值的高频信息屏蔽掉，只让AI看到真正有用的部分？

答案就是频谱强制。它的工作原理可以简单理解成一个滤镜。在摄影中，低通滤镜能让图像变得柔和，滤掉细碎的噪点和锐利边缘，只保留整体颜色和轮廓。频谱强制做的是类似的事，但有两个关键差异：第一，它基于数学上推导出的“有用信号界线”来设定滤镜的截止点；第二，这个截止点会随着训练时刻动态变化。在靠近噪点的时刻，截止点很低，只让极少量低频信息通过；随着时刻向清晰图像推进，截止点不断扩大，允许越来越多的频率进入，直到在最终时刻完全取消滤镜，让AI看到完整图像。

技术上，这个滤镜使用二维离散余弦变换（2D-DCT）来实现。它是一种把图像“分解”成不同频率成分的数学工具，与JPEG图片压缩用的是同一套思路。具体流程是：在每个训练步骤中，先把当前时刻的含噪图像做DCT变换，然后用一个软性的圆形遮罩，把超出截止半径的高频系数乘以接近零的权重，最后做逆变换还原成图像，再送入AI模型。整个操作不引入任何可学习的参数，计算量大约是总训练成本的0.5%。而且它完全不改动训练损失函数、采样器或任何其他组件。

截止点的变化曲线（即“调度方案”）是另一个重要的设计选择。团队测试了多种方案：线性增长、平方增长、余弦曲线增长，以及直接从理论公式推导出的“解析方案”。线性方案最简单，就是截止点随时间均匀扩大；解析方案则完全跟随理论预测的信号界线移动。在实验中，线性方案在ImageNet的标准设置下表现最好，而解析方案在更高分辨率的场景中优势明显。背后的原因，后文会有详细解释。

四、什么情况下有效，什么情况下会适得其反

频谱强制不是万能药。团队花了很大篇幅，清楚界定了它的适用边界。这份诚实在研究中非常值得称道。

核心结论可以概括为一句话：频谱强制在两个条件同时满足时效果最好。第一，AI处理图像的方式是“粗粒度分块”（即把图像切成较大的方块作为输入单元，导致模型本身就已经看不到太多高频细节）；第二，图像的高频内容主要是噪点而非有价值的信号。

为了验证这两个条件，他们做了一系列精心设计的对照实验。使用了三种合成数据集：一种是模拟自然图像统计规律的“幂律”数据（高频内容少，符合自然图像规律）；一种是包含大量清晰边缘的“矩形”数据（高频内容是真实的关键信号）；一种是混合了多种结构的“结构化”数据。

实验结果很清晰：在幂律数据上，频谱强制显著改善了学习效果；在矩形数据上，频谱强制反而伤害了模型——因为它屏蔽的高频内容正是矩形边缘，是AI必须学习的关键信号；在结构化数据上，效果介于两者之间，线性方案接近中性。

同样在分块大小（patch size）的实验中也如此。当每张图像被切成1024个小块时（块很小，每块包含更多细节），频谱强制的收益最高，改善幅度达到70%；当每张图像只被切成16个大块时（块很大，每块已经平均掉了大量细节），效果反而略微下降。这说明，当AI的输入已经因为分块方式而“看不到”高频细节时，额外屏蔽这些不存在的信号意义不大；但当AI确实在处理高频信息时，显式告诉它“这些频率都是噪点，别浪费精力”，就很有价值。

五、在真实数据集上的表现：数字会说话

理论和合成实验已经很有说服力，但最终的检验还得放在真实数据上。团队选择了ImageNet-256作为测试场景，使用的模型框架是“JiT”（一种像素空间扩散模型架构）。

在最有代表性的配置下——也就是JiT-700M/32（7亿参数级别，每张256x256的图像被切成64个图块），仅训练60个轮次，加入频谱强制后，FID分数（衡量生成图像质量，越低越好）从24.19下降到20.68，提升幅度达14.5%；初始分数（衡量生成图像多样性和清晰度，越高越好）则从83.28提升到93.96，提升幅度约13%。这一对比是在完全相同的训练配置下进行的，唯一的变量就是是否启用频谱强制。

更能说明问题的是训练效率。加入频谱强制后，训练60个轮次就能达到原本需要约90个轮次才能达到的图像质量，训练120个轮次就能达到原本约145个轮次的水平。这意味着在实际使用中，可以节省约17%到33%的训练时间，而硬件成本几乎没有增加。

在更大的训练预算下，到120个轮次时，加入频谱强制的模型FID达到15.15，不仅比同样轮次的基线（16.46）强，还已经超过了此前发表的、使用类似架构训练约145个轮次的参考结果。

在较小的模型（JiT-130M/32，同样64个图块）上，频谱强制在早期训练阶段（15个轮次时改善11.6%）优势最明显。随着训练深入，差距逐渐收窄，到200个轮次时，仍保持约1.5%的优势。这个模式说明，频谱强制带来的部分收益来自“更快入门”，但也有一部分是稳定存在的长期改善。

当分块数量增加到256个（即JiT-130M/16，使用较小的图块切割方式）时，频谱强制的效果缩减到2.2%左右，基本在统计误差范围内。这完美对应了理论预测：更细的分块让AI本身就能看到更多高频细节，此时频谱强制的贡献有限，但也不会造成伤害。

团队还对比了多种可能的替代方案。恒定的低通滤镜（不随时间变化）反而比基线更差，因为它永久屏蔽了某些频率，导致AI永远无法学习生成那些高频细节；空间域的高斯模糊效果更差；在损失函数上做频率加权而非在输入上做滤镜，也明显不如频谱强制。此前提出的“模糊扩散”和“DCT空间扩散”等方法，在同等条件下同样不如频谱强制。

六、线性方案为何在ImageNet上胜过理论最优方案？

这个结果看起来有点反直觉。团队给出了非常详细的解释。

解析方案（即截止点完全跟随理论推导的信号界线移动）在小分辨率合成数据上，比线性方案强2到3倍。但在ImageNet的256x256标准设置、64个图块的配置下，反而输给了线性方案。原因有三点：

首先，理论公式中使用的“幂律指数”，是对自然图像整体频率分布的一个全局拟合值。但真实图像在极高频率段的能量下降速度，比全局拟合更快。这是因为相机传感器噪点、抗混叠处理等因素，导致理论公式对高频部分的处理过于激进，把本来还有一点用的频率也屏蔽了。

其次，在64个图块的配置下，图像分块本身就已经截断了大量高频信息。解析方案在早期极度保守，截止点长时间停在最低值附近，这会让AI长时间看不到足够多的有效信息，影响梯度质量。

第三，解析方案中截止点的增长速度在训练早期非常缓慢，导致大部分训练时间内AI能看到的频率范围极其有限，学习效率受损。这三个问题在更高分辨率（比如512x512）时都会得到缓解。所以在高分辨率玩具实验中，解析方案反而更优。

团队的结论是：理论框架提供了“截止点应该随时间单调扩大、在终点达到全频率”这个正确的定性形状，但具体的函数形式在实际使用中，需要根据分辨率和分块大小做经验性调整。线性方案是一个在多种配置下都足够稳健的默认选择。

七、在文字生成图片模型中的迁移表现

团队进一步把频谱强制插入了SenseNova-U1，这是一个“原生视觉-语言模型”，也就是不依赖独立图像编码器、直接处理原始图像像素块的统一文本-图像模型。这类模型为了控制序列长度，通常也采用较粗的图像分块，正好落在频谱强制的有效区间内。

在DPG-Bench（一个评测文字生成图像综合能力的基准测试）上，加入频谱强制后，整体分数从64.35提升到67.85。涵盖的13个子类别中，有9个获得改善。提升最集中的子类别是“实体状态”、“实体整体”、“计数”等需要捕捉整体语义结构的维度，而不是那些依赖高频细节的类别。这和理论预测一致，因为这类语义信息主要编码在低频成分中。

在GenEval（另一个专门评测文字生成图像能力的基准测试）上，总体分数从3.87%提升到4.56%，相对提升约18%。其中“单一物体”类别提升2.81个百分点（约19%），“颜色”类别提升1.33个百分点（约16%）。需要说明的是，这些测试是在模型训练早期（10万步）进行的。那些需要理解能力的复合构图类别，比如“两个物体同框”、“计数”等，在这个阶段两个模型都还是零分，尚未发展出相关能力。

八、各项配置和细节对效果的影响

团队还系统性地测试了若干设计参数的影响，给希望实际使用频谱强制的人提供了充分的参考。

关于最低截止点，它控制着滤镜在训练最初始时刻能通过多少频率。研究发现，该参数对效果的影响是单调的：数值越大（滤镜越宽松），效果越接近基线；数值越小（滤镜越严格），早期训练越困难，但给AI创造的“迫使它专注低频”的压力也越大。默认值0.05在多种配置下表现稳健。

关于图像分辨率的影响，在玩具实验中，把图像尺寸从64x64扩大到512x512（同时保持图块数量固定为64），解析方案的相对优势随分辨率增大而显著增强。在64x64时基线最优，解析方案比基线差；在256x256时解析方案已经明显领先基线约15%；在512x512时仍保持约3.3%的优势。在真实ImageNet数据上，在512x512分辨率下，原本在256x256时与基线持平的JiT-130M/32配置，加入频谱强制后获得了3.4%的FID改善。这说明，更高分辨率的训练场景是频谱强制更自然的主场。

关于训练与推理的计算开销，全文反复确认：频谱强制仅需一次前向和一次逆向2D-DCT变换，计算量约为基线的0.5%，无可学习参数，无额外内存占用。在推理阶段，同样在每个采样步骤的图像输入上应用同样的滤镜，开销同样可以忽略不计。

归结起来，这项研究的贡献，是把一个长期隐藏在AI训练过程中的“结构性浪费”变得可见，并用最小代价将其修复。扩散模型在训练时，确实存在一个“有效工作区间”。在这个区间之外，模型要么在机械地解固定方程，要么在做比随机猜测还差的事情。频谱强制把这条边界显式化，用一个动态变化的滤镜告诉模型“现在只有这些频率是值得学习的”，从而让模型把有限的计算力集中在真正重要的地方。

对普通用户来说，这意味着未来使用类似技术训练的图像生成模型，在同等算力预算下可以更快收敛、生成质量更高。对开发者而言，这是一个几乎无代价即可接入现有训练流程的改进，尤其对那些出于成本考虑不得不使用粗分块方式的原生视觉-语言模型，更有意义。

当然，频谱强制不是所有场景的万能解。如果你的数据本身就富含高频关键信息（比如医学图像中的细微病变），或者你的模型已经在用非常细的分块方式处理图像，频谱强制的贡献就会大幅缩水。团队在这方面保持了相当清醒的自我评估，没有把一个有条件适用的技术包装成无限通用的突破。这份清醒，本身就值得学习。

如果你对这项研究感兴趣，想看看背后完整的数学推导和更多实验细节，可以通过arXiv编号2606.15236找到完整论文。

Q&A

Q1：频谱强制（Spectral Forcing）需要修改扩散模型的训练流程吗？

A：好消息是：不用。频谱强制完全不需要动训练流程的核心部分。它只是在图像送入模型之前，加了一个基于当前训练时刻动态调整截止频率的低通滤镜。损失函数、采样器、模型架构、EMA权重全部保持原样。计算量约增加0.5%，没有任何新的可学习参数。可以说是即插即用。

Q2：频谱强制在所有图像生成任务中都有效吗？

A：不是所有场景都有效。频谱强制在两个条件同时满足时效果最好：图像被切成较少、较大的图块（比如64块），以及图像的高频内容主要是噪点而非关键信号。当图像本身富含高频边缘信息（比如轮廓鲜明的几何图形），或者模型本身就采用细粒度分块（比如256块），效果会明显减弱，甚至可能略微下降。

Q3：频谱强制的线性调度方案为什么比理论推导的解析方案在ImageNet标准设置下更好？

A：理论上解析方案应该最优，但在256x256分辨率、64个图块的标准ImageNet配置下，解析方案对高频内容的屏蔽过于激进，且早期截止点增长太慢，导致模型长时间接收不到足够丰富的训练信号。线性方案增长更均匀，就避免了这个问题。而在更高分辨率（512x512以上）的场景中，解析方案的优势会重新显现出来。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：南洋理工大学零成本训练法让AI图像生成只看有用部分要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题