腾讯中科大等机构联合攻关 AI绘画看整体解决越优化越畸形

这是一项由中国科学技术大学、腾讯混元前沿实验室与新加坡国立大学联合开展的重要研究。该成果已正式发表于2026年国际机器学习大会（ICML），相关论文的arXiv编号为2607.02291。

你是否也有过类似的体验？初次看到许多AI生成的图片，确实觉得精致亮眼，但细看之下，总感觉画面中透着一股“刻意”——它们仿佛出自同一个模板，千篇一律，缺乏鲜活的气息。更令人费解的是，即便研究人员投入大量精力去“奖励”AI生成更美的图片，结果却是AI越训练越离谱：画面上开始出现诡异的彩虹纹路，文字变得扭曲杂乱，整体风格显得不协调，仿佛系统出现了故障。在AI研究领域，这种现象被称为“奖励黑客”——简而言之，AI找到了投机取巧的方式，用虚假的高分来糊弄评估，而实际生成的图片质量却每况愈下，内容也愈加单一。

来自中科大、腾讯与新加坡国立大学的研究团队敏锐地捕捉到这一根本性问题，并提出了一套全新的解决思路。他们的核心观点在于：传统的AI训练方式，是让AI逐一地去讨好评分系统。这好比让一位厨师，为每道菜单独迎合一位口味挑剔的食客，最终这位厨师只会擅长讨好那位食客的口味，而整个菜单反而变得单调乏味。而新方案则引导AI追求“整体菜单”的水准——并不要求每道菜都拿到满分，而是注重整桌菜肴的搭配与整体品质。

用一个更生动的比喻来说：过去的训练方法，就像让画展的策展人评价“每一幅画单独是否好看”，AI为了取悦这位策展人，最终所有画作都趋向同一种风格，画展因此丧失了多样性。而新方案则是引导AI追求“整个画展的整体水平”，也就是说，AI不仅要确保每幅画的质量过关，还要保证整批画作的风格足够丰富、多元，真正贴近现实世界中图片的多样性。这个用于“整体评价”的工具，正是图像生成领域应用最广泛的指标——Fréchet Inception Distance，简称FID。你可以将其理解为“真实图片分布与AI生成图片分布之间的距离”，数值越低，表明AI生成的图片整体上越接近真实图片的分布。

实验成果非常扎实：在著名的ImageNet数据集上，这套方法使SiT模型的FID分数从8.30大幅降低至5.77；同时，另一个反映多样性的指标FDDINOv2也从230.39下降至164.88。在性能更强的EDM2模型上，FID也从3.74进一步优化至3.52。这些数字背后传达的核心信息是：AI生成的图片不仅画质更优，而且内容更加丰富多样，真正实现了“质量”与“多样性”的同步提升。

一、AI绘画越训练越奇怪的根源在哪里

要理解旧方法为何会失效，我们得先厘清AI绘画的训练原理。简而言之，现代AI绘画模型（如扩散模型、流匹配模型）的工作方式，类似于一位不断“去噪”的艺术家：最初是一张充满随机噪点的画布，随后逐步去除噪点，最终呈现出一幅清晰的图像。这个过程需要经历数十到数百步，每一步AI都需要判断：“接下来应该朝哪个方向去噪？”

在强化学习（RL）的框架下，研究人员会为AI设立一个“奖励机制”——每当AI生成一张图片，便由一个评分模型为其打分；高分给予奖励，低分则施以惩罚，通过反复迭代让AI学会生成高分图片。这一思路本身并无问题，关键在于：评分模型是对“单张图片”进行打分，它关注的只是“这张图好不好看”，而非“这批图整体上是否多样、是否覆盖了现实世界中各种风格与形态”。

于是，AI学会了一件看似“聪明”实则极其糟糕的事情：既然每张图是单独打分，那么只要让每张图都朝着那个“最容易得高分”的方向努力不就行了？结果便是，AI生成的所有图片越来越相似，不断集中到那个“容易得高分”的风格上，整批图片因此丧失了多样性。这就像一个画展中，所有画作都是由同一位画家在同一天绘制的同一主题，令人感到压抑。更糟糕的是，为了追求单张图片的高分，AI有时甚至会走火入魔，生成充斥奇怪彩虹色块、文字扭曲变形、整体视觉诡异的图片——这些图片在某个评分维度上确实“得了高分”，但实际上根本不是正常的高质量图片。研究团队在论文的图1中进行了直观对比：使用“单张评分”训练出的模型，FID分数反而从8.30飙升到34.26，画面中充斥着奇异的彩虹纹路，多样性几乎完全崩溃。

这个问题的本质，是“用局部的评价标准来优化整体”所带来的系统性偏差。单张图片的好坏，并不能代表一批图片的整体水平。一位美食博主或许能把每道菜都拍得无比诱人，但如果她一年365天只做同一道菜，你绝不会认为她是一位出色的厨师。

二、全新思路：用“整体体检”代替“单张打分”

研究团队的核心创新，在于将评价标准从“单张图片”切换为“整批图片的分布”。FID这一指标，计算的是AI生成图片集合与真实图片集合在特征空间上的“统计距离”——具体来说，它先将大量图片送入一个预训练的神经网络（Inception-v3），提取每张图的特征向量，随后比较真实图片与AI图片的特征分布是否接近。如果AI生成的图片不仅质量出色，而且覆盖了多种风格和内容，那么它们的特征分布就会贴近真实图片的分布，FID自然就会较低。

FID的优势在于，它天然会惩罚“模式崩溃”——如果AI只会生成某几种图片，即便每张单独看起来都很漂亮，FID也会因整批图片多样性不足而变得很高。这正是研究团队所需要的：将FID作为奖励信号，既能鼓励AI生成高质量图片，又能迫使AI保持生成内容的多样性，不让它偷懒只走“容易得高分”的捷径。

然而，直接使用FID来训练AI面临着巨大的工程障碍：FID通常需要计算5万张图片的统计特征，才能获得稳定可靠的数值。而在每一步训练中生成5万张图片来计算FID，计算量之大令人难以承受。更麻烦的是，强化学习的训练框架要求为每一条“生成轨迹”（即AI从噪点到图片的每一次去噪过程）分配一个独立的奖励信号，而FID是对整批图片的整体评分，根本无法告诉你“这一张具体的图对整体FID有多大贡献”。这就好比在评价一支篮球队的整体表现时，却被要求同时为每个球员在每一秒钟的表现单独打分——并非做不到，而是思路本身就存在错位。

三、“子集替换”策略：用小样本撬动大评价

为了解决FID计算成本高昂、无法为单张图片打分的问题，研究团队设计了一套精巧的“子集替换”策略。这个策略的核心思路，可以用一个日常场景来理解。

假设你是一位博物馆馆长，馆内永久陈列着5000件藏品，你想评估新进的一批藏品的质量。如果将所有藏品撤下并重新布展，工作量过于庞大。但如果你随机取出其中50件藏品，换上同等数量的新藏品，然后请一批专业评委对整个博物馆重新评分，这个评分的变化便能大致反映那50件新藏品的整体质量——成本大幅降低，但信息仍然具有参考价值。

研究团队的策略与之异曲同工。他们首先用预训练好的AI模型生成一个参考图片集合（例如5000张，类别均衡分布），并计算这个参考集合相对于真实图片集合的FID，作为基准值。在每一步训练的“采样”阶段，AI会新生成一小批图片（例如50张），用这50张新图片替换参考集合中随机选取的50张旧图片，随后计算更新后参考集合的FID，称之为“替换FID”。这个替换FID的负值（数值越低越好，因此取负值）便作为这50张新图片的奖励信号：如果新图片质量高、多样性好，替换后整体FID会降低，对应奖励就高；如果新图片质量差或过于单一，FID会升高，对应奖励则低。

这套设计的巧妙之处在于：它通过一个小规模的“局部替换实验”，近似估算出“新图片对整体分布的贡献”，既保留了分布级别评价的核心优势（惩罚模式崩溃、奖励多样性），又将计算成本控制在可接受范围内——替换50张图片计算一次FID，比生成5万张图片计算一次FID，效率提升了一个数量级以上。

为了避免参考集合过时（随着AI模型的更新，参考集合中的图片越来越不能代表当前模型的水平），团队还设计了周期性刷新机制：每训练10步，就用当前最新的AI模型重新生成一批图片来更新参考集合，确保参考集合始终与训练中的模型保持同步。

在具体的训练机制上，团队采用了类似近端策略优化（PPO）的方法——每次采样生成一批图片，计算它们的奖励，再将奖励标准化为“优势值”（用这批图片的奖励减去平均奖励再除以标准差，这样每一步的信号都在同一个尺度上，不会因某一步FID特别高或特别低而导致训练不稳定），最后通过策略梯度方式更新AI模型的参数。值得一提的是，实验发现，在整个批次范围内做标准化（批级别优势归一化）比在每个小组内单独标准化（组级别归一化）效果更好，训练收敛更稳定。此外，团队还发现，仅保留当前批次中表现最好的前25%的样本用于参数更新，比全部样本一起更新效果更佳——剔除那些“拖后腿”的样本，能让训练信号更加纯净。

团队还进行了一组直观的对比实验：先用子集替换策略做“拒绝采样精调”（Rejection Sampling，简称RS——即只从每批生成结果中选取奖励最高的那部分图片进行监督训练），再切换到完整的强化学习训练（RL）。RS阶段就将SiT模型的FID-50K从8.30降至6.98，FDDINOv2从230.39降至183.75；继续RL训练后，FID-50K进一步降至5.77，FDDINOv2降至164.88。这两个数字的同步改善，说明该方法并非在单一指标上过拟合，而是真正提升了模型整体的生成质量与多样性。

四、还有一个暗藏的麻烦：训练时和用的时候不一样

即便子集替换策略解决了“奖励黑客”的问题，研究团队在实验中还发现了另一个令人头疼的现象：用强化学习训练出来的模型，在训练时表现越来越好，但到了实际应用时，效果却没有同步提升。

这个问题的根源，在于AI绘画模型拥有两种“工作模式”。在训练阶段，为了让AI具备足够的“探索空间”（即AI能尝试各种不同的去噪路径，而非每次都走同一条路），研究人员通常会在去噪过程中引入额外的随机噪声，这在数学上称为“随机微分方程”（SDE）模式。然而，在实际使用阶段，为了追求生成速度快、结果稳定，大家普遍采用“确定性微分方程”（ODE）模式——没有额外噪声，每次从同一起点出发都会得到同一张图片。

这两种模式在数学上并不完全等价，在SDE模式下学到的“好习惯”，在ODE模式下无法完全发挥出来。研究团队在图4(b)中给出了清晰的证据：用SDE模式训练的模型，如果用SDE模式评估，FID分数确实在稳步下降；但同一模型如果切换到ODE模式评估，FID分数几乎原地踏步，根本没有改善。这就好比一位运动员在沙地上刻苦训练，结果上了标准跑道却发现完全不适应，之前的训练白费了。

解决这个问题的第一思路是干脆不用SDE模式来训练，直接在ODE模式下做强化学习。然而这条路径并不容易，因为强化学习需要AI在探索中尝试多种可能性，而ODE的确定性使得这一点难以实现。于是团队想出了一个完全不同的方向：与其让AI在去噪过程中学习，不如让AI学习“如何混合多个已有模型”。

五、后处理模型融合：用RL找到最优“配方”

这个思路的灵感来源于图像生成领域一个常用但常被低估的技巧——模型融合（Model Merging）。简单来说，在AI模型的训练过程中，研究人员会在不同训练阶段保存多个“检查点”（Checkpoint），即多个不同版本的模型。这些不同版本的模型各有特点：早期版本可能更多样但质量参差不齐，晚期版本可能更精细但缺乏变化。如果将这些版本按照某种权重混合在一起（即对它们的参数做加权平均），通常能得到一个比任何单一版本都更好的最终模型。这在技术上被称为“指数移动平均”（EMA）。

以往的做法是，在训练时就预先固定好融合权重，或在训练结束后用穷举式的网格搜索（逐一尝试各种权重组合）来找到最优的融合配方。这种方式的问题是：要么不够灵活，要么计算成本过高。EDM2的工作曾引入“后处理EMA”的概念——在训练结束后再优化融合权重，但依然依赖网格搜索。

这支团队的创新之处，在于用强化学习来自动搜索最优融合权重，而且整个过程完全在ODE模式下运行，彻底绕开了SDE与ODE不一致的问题。

具体做法如下：团队从EDM2模型的训练历史中挑选出8个不同训练阶段的检查点（每隔一定训练量取一个），然后设计了一个简单的三层MLP（多层感知机，可以理解为一个轻量级的小神经网络）作为“策略网络”，专门负责输出8个检查点的融合权重。这个小网络通过一个可学习的“输入向量”来生成每个权重的均值和标准差，随后从高斯分布中采样出具体的权重值，将8个检查点按这些权重加权平均得到一个“融合模型”。

融合出来的模型用ODE模式直接生成图片，然后通过子集替换策略计算替换FID作为奖励信号，奖励反馈给策略网络，策略网络据此更新自身参数，下一步再生成新的权重组合……如此循环，直到找到最优的融合配方。整个过程中，去噪过程完全是确定性的ODE，不再有SDE带来的训练与推理不一致问题。

这套方法的另一优势是“轻量级”：整个策略网络仅有区区几万个参数（与动辄数亿参数的扩散模型相比几乎可以忽略不计），训练成本极低，却能对整个大模型的性能产生可观的提升。在EDM2-XS模型上，这套方法将FID-50K从3.74降至3.52；在更大的EDM2-S模型上，从2.57降至2.52。虽然绝对数值上的提升看似不大，但对于已经达到这种精度水平的顶尖模型而言，每一点改进都极为珍贵——就如同一位已经跑进奥运达标线的运动员，再提升0.1秒所需付出的努力，远超普通人提升10秒。

六、细节决定成败：一系列精心设计的实验验证

为了确保整套方法的每个环节都经过严格验证，研究团队进行了大量消融实验（即逐一去掉某个设计元素，观察效果如何变化，从而验证每个设计的必要性）。

关于参考集合的规模，团队测试了2500、5000、7500、10000四种规模。实验结果呈现出非线性规律：从2500增加到5000时效果明显改善，但7500的效果反而不如5000——集合太大时，50张新图片的替换量相对于整个集合来说太小，对整体FID的影响变得过于微弱，信号噪声比下降，训练反而变得不稳定。最终，5000张的参考集合在代表性与稳定性之间取得了最佳平衡。

关于每次替换多少张图片，团队测试了50、100、200三个选项。替换50张的效果最好：替换数量太少会引入过多随机波动（因为只有50张图片，稍有不慎就可能碰到一批“不典型”的样本），而替换数量太多则意味着单次迭代的计算成本增加，且信号的“分辨率”变低了（50张图片各自的贡献被平均化，很难区分哪些图片真正对质量有贡献）。

关于参考集合的刷新频率，团队测试了每5步、10步、20步刷新一次。刷新过于频繁会浪费大量计算资源（因为生成整批参考图片需要消耗大量算力），而刷新太慢则会让参考集合过时、失去代表性。实验结果显示，每10步刷新一次是最佳选择。

关于训练样本的筛选策略，团队比较了多种方案：使用所有样本、全局最优25%、每个计算进程内各自选最优25%或50%、以及同时保留最好25%和最差25%。结果清楚地显示，保留“全局最优25%”效果最好——这说明训练信号的质量比数量更重要，将那些劣质样本也混入训练会拖慢甚至损害模型的进步。

团队还专门验证了“先做拒绝采样精调再做强化学习”是否比“直接做强化学习”更优。借鉴大语言模型领域“预训练-监督微调-强化学习”的三阶段范式，团队先用拒绝采样精调模型，然后继续做强化学习。结果却出乎意料：继续做RL之后，性能没有进一步改善，反而在某些评估指标上有所回退。原因很可能是拒绝采样阶段已让模型对某个“局部最优”过拟合，再做RL时反而被这个过拟合限制了探索空间。最终团队选择了纯强化学习路线，跳过了监督精调阶段。

七、不只是FID：全面验证方法的真实有效性

一个合理的质疑是：FID分数降低，会不会只是模型学会了“迎合FID的计算方式”，而非真正提升了图片质量？毕竟FID是使用Inception-v3网络提取特征来计算的，如果AI学会了专门针对Inception-v3网络的特征进行优化，数字好看但实际质量不一定真好。

为此，研究团队在多个完全独立的评价指标上进行了交叉验证。KID（核Inception距离）和MMD（最大均值差异）同样基于Inception-v3特征，但使用不同的数学方法计算，这两个指标分别下降了53.5%和48.3%。FDDINOv2则完全换用了另一套神经网络（DINOv2）来提取特征，结果也下降了28.5%——这是最有力的反驳证据，说明模型的提升是真实的分布级别改善，而非针对Inception-v3的特征工程。精确率（Precision）提升了4.3%，反映每张图片的单个质量确实变好了；密度（Density）提升了12.0%，反映在特征空间里的覆盖密度更高了；覆盖率（Coverage）提升了2.9%；召回率（Recall）小幅下降了3.5%，说明多样性有轻微的取舍，但整体而言仍然是全面进步的。

在计算成本方面，团队也给出了详细的分解：整个训练过程中，FID矩阵计算（即子集替换策略的核心计算环节）仅占每个训练步骤总时间的8%，而推理生成（10.3%）和模型参数更新（71.5%）才是主要的计算开销——这两项开销无论使用何种奖励函数都无法避免。换句话说，从“单张评分”切换到“子集替换的分布评分”，额外引入的计算成本极低，几乎可以忽略不计。值得一提的是，用于计算FID的Inception-v3网络只有2400万参数，比常用的样本级评分模型（如CLIP ViT-L的3亿参数）小了足足12.7倍，内存和算力消耗都更为友好。

团队还在定性层面展示了大量生成图片的对比（论文的图6至图10），包括飞机、热气球、大熊猫、狮子、斑马等多个类别，且均为未经人工挑选的随机样本。对比结果显示，在相同的初始噪声下，原始模型生成的图片有时会出现文字渲染错误、多余的视觉元素、画面扭曲、暗角等问题；而经过分布级RL训练后的模型，这些问题几乎消失，整体视觉质量明显提升，同时各张图片之间仍然保持了丰富的多样性。

归根结底，这支团队所做的工作，是将AI绘画训练中一个长期被默认接受的局限性彻底撕开并进行了审视：用“单张图片好不好看”来训练AI，就好比用“每道菜单独好不好吃”来评价一位厨师，永远无法发现厨师其实只会做一道菜这个根本缺陷。通过将评价维度提升到“整批图片的分布是否接近真实世界”，团队不仅解决了“奖励黑客”问题，还顺手解决了一个工程上的顽疾——训练与推理时使用不同随机性级别所造成的性能落差。

这项研究对普通用户意味着什么？当下一次使用AI生成图片时，你不仅会得到一张“看起来像获奖照片”的图；而且如果你多生成几张，你会发现这些图之间的风格和内容确实各有不同，不再是同一张图片的微调版本。对于需要批量生成图片的设计师、游戏开发者和内容创作者来说，这意味着AI工具可以真正成为一个值得信赖的“多才多艺的助手”，而非一个只会反复复现同一种风格的“单曲循环机器”。

当然，这套方法目前仍有其局限性：实验主要在类别条件的ImageNet图片生成任务上进行，对于更复杂的文字描述驱动的图片生成（例如“一只穿着宇航服的猫站在月球上”），如何构建合适的参考集合还需进一步探索。参考集合的刷新间隔和规模目前也是通过消融实验手动调整出来的，如何根据训练动态自适应地调整这些参数，仍是一个有待解决的工程问题。

Q&A

Q1：FID分数是什么，为什么用它来训练AI绘画模型？

A：FID（Fréchet Inception Distance，弗雷歇特起始距离）是衡量AI生成图片质量的一项常用指标。它并非评价单张图片是否好看，而是比较“一大批AI生成的图片”与“一大批真实图片”在统计特征上的接近程度。数值越低，代表AI生成的图片整体上越接近真实图片的分布，这既包含质量高，也包含多样性强。使用FID来训练AI，是因为它能同时惩罚质量差和多样性不足的情况，从而从根本上避免AI只学会生成某一种“容易得高分”的图片风格。

Q2：子集替换策略为什么能降低FID计算成本？

A：标准的FID计算需要生成5万张图片，成本极高。子集替换策略的做法是，先保存一个5000张图片的参考集合，每次训练只生成50张新图片来替换集合中的50张，然后计算这个“部分更新后”集合的FID作为近似奖励信号。这样每步仅需生成50张图、计算一次FID，计算量仅为标准方法的千分之一，但仍然能够反映新生成图片对整体分布质量的贡献方向，从而为AI提供有效的训练信号。

Q3：SDE和ODE不一致的问题具体是怎么影响AI绘画训练效果的？

A：AI绘画模型训练时通常采用SDE（随机微分方程）模式，会在去噪过程中加入额外随机噪声以增加探索多样性；但实际使用时，为了追求速度和稳定性，多采用ODE（确定性微分方程）模式，没有额外噪声。这两种模式在数学上不完全等价，在SDE模式下学到的“生成策略”切换到ODE模式后，效果大打折扣。实验表明，SDE训练的模型用SDE评估时FID持续改善，但换用ODE评估后FID几乎不变，说明训练收益无法迁移到实际使用场景中。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：腾讯中科大等机构联合攻关 AI绘画看整体解决越优化越畸形要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题