北大腾讯混元联手破解AI图像生成两阶段诅咒

这项由北京大学与腾讯混元联合开展的研究，正式发表于2026年6月，论文编号为arXiv:2606.32039。对技术细节感兴趣的读者，只需搜索该编号，即可获取完整的论文原文。

**研究背景：一道横亘在AI图像生成领域的"隐形墙"**

在AI图像生成领域，几乎所有现有技术方案都遵循着一套固定的工作流程，而在这套流程内部，隐藏着一个长期被忽视的根本性矛盾。

用厨房里的比喻来说，现有方案就像是聘请了两位各自独立工作的厨师：第一位厨师（称为"分词器"，Tokenizer）负责预处理食材，将整只鸡剁成标准尺寸的鸡块，然后冻进冰箱；等第一位厨师下班之后，第二位厨师（称为"生成器"，Generator）才出现，打开冰箱，用那些固定好的鸡块进行烹饪。问题在于，第一位厨师从未了解第二位厨师擅长做什么菜、喜欢什么样的切法，他只是按照自己理解的"标准切块"来处理食材。

这个比喻映射的真实技术场景是这样的：训练AI图像生成模型时，研究者首先单独训练一个编码器（分词器），使其学会将图片压缩成数字代码或离散的"图片词汇"，此过程的唯一目标是确保压缩后的结果能够尽可能精确地还原原始图片。完成这一步后，编码器被"冻结"，不再学习、不再改变，就像那些已经切好冻在冰箱里的鸡块。之后训练的生成模型只能针对这些固定的代码学习如何生成新图片，却无法反过来告诉编码器："你的切法其实很难用。"

这种割裂造成的后果是真实存在的：编码器追求的是"高保真还原"，倾向于保留图片中丰富的细节和变化；而生成模型追求的是"规律性和可预测性"，希望面对结构清晰、易于学习的数据分布。这两个目标天然存在矛盾，却从来没有任何协商的机会。

北京大学与腾讯混音的研究团队将这个问题视为突破口，提出了名为GEAR（**G**uided **E**nd-to-end **A**uto**R**egression，引导式端到端自回归）的全新框架，让两位"厨师"在同一个厨房里实现协同工作。

**一、为什么这个问题比想象中更难解决**

你可能会问：为什么不把两个模型放在一起同时训练呢？将"图片词汇化"和"图片生成"整合在同一个训练流程中，让它们互相磨合，这难道不是顺理成章的事吗？

实际上，正是因为一个看似微不足道的技术细节，使得这件事变得极为困难。

当前最主流的自回归（AR）式图像生成模型，可以将其理解为"逐字写作"的方式——一个词一个词地生成图片。这类模型使用的图片词汇是离散的整数索引，类似于字典里的词条编号。编码器处理一张图片后，会得到一系列位置，每个位置都需要从一个庞大的词典中找到最接近的词，并记录下其编号。这个"找最近的词"的操作，在数学上被称为"取最大值"（argmax），而这个操作具有一个致命的特性：它没有梯度。

梯度是神经网络学习的信使。当生成模型生成了不太理想的图像，这个"不太好"的信号需要沿着计算路径反向传递，告诉每一个环节"该如何调整"。但当信号到达那个"取最大值"操作时，就像撞上了一堵墙，无法穿越，也无法继续传递给编码器。换句话说，生成模型的"意见"永远无法抵达编码器，编码器无从得知自己的切块方式有多"难用"。

有人曾提出一种权宜之计，称为"直通估计器"（Straight-Through Estimator，STE），其思路是在梯度计算时假装那堵墙不存在，强行将信号传递过去。然而，在这项研究的实验中，该方法彻底崩溃了：一旦生成模型的训练损失信号被强行传回给编码器，编码器便会走捷径——既然目标是让生成结果更易预测，最简单的方法就是把所有图片都映射到少数几个词汇上，这样生成模型自然很容易预测下一个词。但代价是，图片细节全部丢失，还原质量急剧下降。研究者用一个量化指标（gFID，越低越好）来衡量生成质量，走这条路的结果是gFID高达104.9，这意味着生成的图片几乎毫无意义。

这就是GEAR需要攻克的核心难题：如何在离散的"词汇化"壁障两侧，建立一条真实有效、且不会引发崩溃的信息通道。

**二、GEAR的核心创意：双轨并行，各司其职**

解决这个难题的关键洞察，来自于一个精巧的拆分思路：将同一个编码结果同时读成两种形态，分别承担不同的任务。

依然用厨房比喻来说明：第一位厨师处理完食材后，不再只将其冻进冰箱。相反，他现在准备了两份食材——一份是标准切块，包装好放进冰箱，第二位厨师做菜时直接取用；另一份则是"模糊切块"，没有按照绝对精确的标准操作，而是保留了一些可以微调的余地，专门用来让第一位厨师知道"这种切法做出的菜好不好"。

在技术层面，GEAR的做法是这样的。编码器处理完图片后，会得到一个"距离矩阵"，描述每个位置的特征与词典里每个词汇之间的距离关系。从这个矩阵中，研究者同时生成两种读取方式：硬读取（Hard Branch）是完全精确的，选出距离最近的那个词汇的编号，就像真正使用时一样，这一路的信号只用来训练生成模型；软读取（Soft Branch）则采用一种称为"温度加权"的方法，对词典里靠近的多个词汇进行平滑混合，使结果变成连续可微的，从而让梯度信号能够流通，这一路的信号则被用来引导编码器。

这样设计的精妙之处在于，软读取路径上流通的不是"生成损失"（即预测下一个词的准确率），而是一种性质截然不同的信号——表征对齐损失（REPA Loss）。这个信号的来源是一个冻结的外部视觉模型DINOv2，它已被证明是能够理解图像语义结构的"参考标准"。训练时，系统会计算生成模型中间层的特征与DINOv2提取的特征之间的相似度，尽量让两者更接近。这个"接近DINOv2"的信号通过软读取路径流回编码器，告诉它："请调整你的词汇映射方式，使之容易学习类似DINOv2的表示形式。"

至于对生成模型极为有害的预测损失，它只走硬读取路径，永远不会流回到编码器。这就彻底杜绝了编码器"走捷径、引发词汇崩溃"的可能性。

**三、训练流程的精确设计：两套参数，两条更新通道**

理解了核心思路之后，再来看GEAR的完整训练步骤，就会非常清晰。

每一步训练开始时，一张图片和对应的条件信息（如类别标签或文字描述）同时进入系统。编码器首先将图片处理成一组位置特征，然后与词典对比，得到距离矩阵。由此产生两套向量：硬路径的词嵌入和软路径的温度加权词嵌入。这两套向量分别进入生成模型的Transformer结构，硬路径走完全部层，软路径只走到预设的对齐深度就停止。在这个截止层，两条路径的中间特征都与DINOv2的特征计算对齐损失；硬路径还要额外计算预测下一个词的损失。

更新时，编码器只接收来自编码损失（用于还原图片质量）和软路径对齐损失的更新信号；生成模型只接收来自预测损失和硬路径对齐损失的更新信号。两套参数互不干扰，责任边界非常清晰。

整个过程从一个经过预热的编码器出发（这个预热阶段主要是为了补全公开模型中缺失的对抗训练判别器），在此基础上进行端到端的联合微调。

研究团队为这个对齐过程设置了两个关键超参数：软读取的温度τ和对齐系数λ。温度越低，软读取越接近硬读取，梯度信号就越弱；温度越高，软硬差距越大，引导信号越强但稳定性会下降。经过系统的消融实验，研究团队确定了τ=0.1、λ=0.5作为默认配置，以在生成质量与重建质量之间取得最佳平衡。

**四、实验结果：快了多少、好了多少**

研究团队在图像生成领域的标准测试场景——ImageNet 256×256分辨率的类别条件图像生成任务——上进行了系统评估，结果相当显著。

最直观的数据来自训练效率的对比。在不使用任何额外推理技巧的情况下，衡量生成图片与真实图片相似度的核心指标gFID，GEAR在训练50万步时就已经达到了基线方法LlamaGen-REPA在500万步时才能达到的水平。换句话来说：完成同样的训练目标，GEAR花费的时间仅为基线的十分之一。在文字到图片的生成任务上，GEAR在完成同样的REPA对齐损失目标时快了11.1倍，在预测损失目标上快了2.5倍。

在最终生成质量上，研究对三种规模的模型（1.11亿参数的Base、3.43亿参数的Large、7.75亿参数的XLarge）都进行了对比。以训练300个完整周期后的结果为例，不使用推理引导时，三种规模的gFID分别从20.16、12.70、8.20降低到16.96、8.66、6.76；使用推理引导后，分别从6.00、3.15、2.68降低到4.95、2.95、2.52。每一个规模、每一种设置下，GEAR都优于基线。

值得注意的是，提升的来源被研究团队用一个精巧的实验设计完全隔离出来了：在主要对比实验中，两种方案使用完全相同的生成模型架构和训练计算量，唯一的区别在于编码器是否经历了端到端联合训练。由此可以确认，所有的提升都来自于编码器质量的改变，而不是模型规模或训练时间的差异。

这项技术的适用范围也经过了验证。研究团队在三种不同的量化方案上测试了GEAR：传统的VQVAE、频域量化LFQ和索引反向传播量化IBQ，三种方案下gFID分别改善了4个、近4个和超过7个点。这表明GEAR的引导机制并不依赖于某种特定的量化方式，而是具有普遍适用性。

在文字到图片生成任务上，研究团队使用了一个包含1亿张图片的大型语料库GPIC进行验证。同样训练一个完整周期后，GEAR在各阶段的评估中都稳定优于基线，在最终评估时将关键指标FDD（在DINOv2特征空间中的分布距离，越低越好）从127.9降低到115.3。

**五、深挖根源：编码器到底在内部发生了什么变化**

数字上的改善是表象，更有意思的是：GEAR的引导究竟让编码器内部发生了怎样的变化？

研究团队用两个维度来分析这个问题：编码器自身的特征与DINOv2的相似度，以及编码词汇的使用分布。

关于相似度，结果出乎意料。在扩散模型领域，"让编码器更接近DINOv2"是被普遍认可的改进方向；REPA-E、VA-VAE等工作都以此为目标，让连续潜在特征变得更语义化。但GEAR的编码器在经过端到端训练之后，反而在图像级别和图块级别上都变得与DINOv2更不相似了——图块级别的相似度下降尤其明显，CKA相似度从0.173降到了0.107。

这种下降并不意味着编码器质量变差，图片还原质量在实验中被证实保持甚至略有改善。真正的变化发生在词汇使用分布上。研究团队跟踪了整个联合微调过程中，词汇表的使用熵（entropy，越低说明词汇分布越集中）和有效词汇数量（越低说明常用词汇越集中）。结果显示，训练开始后词汇分布迅速变得更集中，在约3万步时达到最高集中度，然后有所放松，在约12万步后收敛到一个比初始状态更集中、熵更低的稳定状态。

这种现象的含义是：编码器在AR模型的引导下，将词汇分配调整成了一种对自回归预测更友好的结构——同一个场景中相邻的图块更倾向于映射到相近的词汇，这种局部一致性正是让"预测下一个词"变得更容易的关键。但与STE路径引发的崩溃不同，这种集中度只是适度的结构化，而不是极端退化成几个词汇包揽一切。

与此相对，生成模型内部的变化正好是编码器的镜像。研究团队测量了生成模型每一层隐藏状态与DINOv2特征的相似度，分别从整张图片层面（全局语义）和单个图块层面（局部细节）来看。在全局语义层面，GEAR和基线方法的表现几乎没有差别，两者都通过显式的对齐训练达到了与DINOv2相近的全局理解。但在图块层面，GEAR明显更接近DINOv2，这一优势在中深层网络中持续存在。

除此之外，研究团队还测量了一个称为Moran's I的空间自相关指数，以及图像特征的高频分量比例。GEAR的生成模型在这两个指标上都更接近DINOv2的参考值，说明端到端训练赋予了生成模型更强的局部空间一致性——相邻的图块之间有更自然的关联，这正是DINOv2作为一个理解真实图像的模型所具备的特质，也是自回归生成模型真正需要的能力。

归纳起来，GEAR完成的是一种"职责转移"：原本在扩散模型体系里，是编码器自身需要变得更语义化；在GEAR体系里，编码器变得更"可预测"（词汇分布更结构化），而语义对齐的任务则交给了生成模型来完成。两条路通向同一个目的地，只是分工不同。

**六、消融实验：每一个设计选择都有其理由**

研究团队对GEAR的每一个设计细节都进行了独立验证。

软路径对比STE的实验结果已经非常明确：STE导致gFID崩溃至104.9，而软路径维持在10.63。去掉对抗训练损失的影响也经过了单独测试：没有对抗训练时，图片还原rFID从1.64跳升至5.86，生成gFID从10.63恶化至16.35，说明对抗训练对联合训练中的编码器质量至关重要。

温度参数τ的扫描显示，过高的温度（如0.5）导致软路径与硬路径差异过大，生成质量最好但还原质量下降；过低的温度（如0.01）则两路几乎一致，引导信号太弱，生成质量明显下降。0.1是两全其美的折中点。

对齐系数λ的实验显示，0.5是最优值。太小（0.25）则引导力度不足；太大（1.0）则会导致过度正则化，生成和还原质量都受损。

对齐目标的选择也经过了验证，分别测试了DINOv2、DINOv3、SigLIPv2和V-JEPA2.1四种预训练视觉编码器。GEAR在所有这四种目标下都带来了显著的生成质量改善，只是幅度有所不同，其中DINOv2带来的改善最为明显，成为默认选择。

关于应在生成模型的第几层进行对齐，测试了第6、8、10层，结果显示第8层表现最佳。这与LlamaGen-REPA的发现一致——对齐深度应在模型总深度的三分之一左右。

初始化实验则回答了一个实际问题：GEAR必须从一个预训练的编码器开始吗？答案是：不是必须的，但有很大帮助。从预热编码器开始训练的完整GEAR方案（gFID 10.63）显著优于从随机初始化开始的版本（gFID 13.44），但后者仍然优于使用冻结预训练编码器的基线方法（gFID 14.72）。

最后，分辨率泛化实验覆盖了256、384和512三个生成分辨率，GEAR在所有分辨率下均优于基线，证明这套机制并不局限于某个特定的图像尺寸。

**七、局限性与未来展望：诚实面对天花板**

研究团队在论文中坦诚地讨论了GEAR当前的局限性，这种诚实态度值得关注。

最根本的瓶颈来自于离散量化本身。GEAR的图片还原rFID是1.64，而同期最强的端到端扩散模型REPA-E的连续VAE还原rFID是0.28——两者相差近6倍。还原质量的上限直接制约了生成质量的上限，GEAR最终的gFID 2.52（使用推理引导）与REPA-E的1.12之间的差距，相当程度上源于此。

这个差距背后有一个更深的架构性原因：在自回归模型里，"压缩率"和"序列长度"是绑定在一起的。目前的主流做法是将256×256的图片压缩成256个词汇（下采样16倍），生成模型就需要逐步生成256个词汇，这是计算量的来源。扩散模型则不同，它可以使用8倍下采样的编码器保留更多细节（得到1024个潜在位置），然后再通过2×2的像素分组，让变换器实际处理的序列长度仍然是256。自回归模型无法做到这种解耦——每增加一个词汇，就增加一步生成，随之增加计算量。

研究团队认为，这个瓶颈是可以被部分克服的，方向是借鉴扩散模型的解耦思路，例如在自回归模型侧引入图块预测或多词汇并行预测，在不显著增加序列长度的前提下使用保真度更高的编码器。

另一方面，研究团队也指出了自回归离散生成的独特优势：它与大语言模型共享相同的技术生态，可以直接继承各种人类偏好对齐技术（如PPO、DPO、GRPO等），这在多模态统一模型的场景下尤为珍贵。GEAR作为一种让离散自回归图像生成更高效、更强大的基础方法，被研究团队视为通往统一多模态生成系统的一块重要拼图。

说到底，GEAR解决的是一个长期被当作"不可能任务"的问题：让图像的词汇化过程和图像的生成过程在同一张桌子上坐下来，通过一种不会引发崩溃的信息桥梁相互协商。这个"桥梁"——软路径上的表征对齐信号——精巧地绕开了离散索引的不可微障碍，同时严格阻挡了会导致词汇崩溃的预测损失信号。结果是，两位"厨师"终于学会了协同工作：编码器将食材切成更适合第二位厨师发挥的形态，而第二位厨师则在更友好的食材基础上做出了更好的菜。

对于关注AI图像生成技术进展的读者而言，这项工作传递的一个更广泛的启示是：模型能力的边界并不总是需要靠堆参数或堆数据来拓展，重新审视训练流程本身的内在矛盾，有时能以更小的代价实现更大的跨越。

**Q&A**

Q1：GEAR框架为什么不直接用"直通估计器"（STE）来连接编码器和生成器？

A：直通估计器的原理是在反向传播时假装不可微的操作不存在，强行将梯度传递过去。但在GEAR的实验中，这导致了灾难性的结果：一旦生成模型的预测损失信号能够到达编码器，编码器就会走捷径，将所有图片都压缩到极少数几个词汇上，让预测变得容易，但图片还原质量完全崩溃，gFID指标高达104.9，几乎意味着生成的图片毫无意义。GEAR的解决方案是建立一条独立的软路径，传递表征对齐信号而非预测损失信号，从根本上消除了这个崩溃诱因。

Q2：GEAR端到端训练之后，编码器的图片还原质量会变差吗？

A：不会，反而略有改善。研究团队的消融实验显示，经过端到端联合训练的编码器，在rFID、PSNR、SSIM等还原质量指标上都持平甚至优于联合训练前的基线编码器。这是因为GEAR只让表征对齐信号流回编码器，严格阻断了会破坏还原质量的预测损失信号，所以词汇表不会崩溃，细节保留能力得以维持。

Q3：GEAR只适用于某种特定类型的图像编码方式吗？

A：不是。研究团队在三种不同的量化方案上都验证了GEAR的效果：传统向量量化VQVAE、频域量化LFQ和索引反向传播量化IBQ，三种方案都获得了明显的生成质量提升，gFID分别改善了约4个、约4个和约7个点。这表明GEAR的核心机制与具体量化方式无关，只要存在离散索引和自回归生成器的组合，GEAR的双路径引导框架就可以适用。