无需视觉tokenizer北大PRA自回归135M模型反超1.9B
北京大学与深势科技提出PRA方法，通过低维中间态降低单步预测难度，并行构造解码像素输入缓解训练-推理分布不一致，有效解决像素空间自回归图像生成瓶颈。在ImageNet-1K上，135M参数模型FID达2 58，超越1 9B参数基线；511M参数模型FID降至1 94，无需外部tokenizer即实现端到端高质量生成。
从像素到图像：揭秘PRA如何让自回归生成性能比肩扩散模型
过去几年间，扩散模型几乎始终主导着高质量图像生成领域：从随机噪声出发，经多轮迭代逐步“雕刻”出完整图像。然而，随着大语言模型席卷人工智能领域，另一条技术路线正迅速崭露头角——图像能否像语言一样，通过自回归方式逐步生成？若图像能沿用同一套自回归建模逻辑，视觉生成将更易融入现有大模型体系，语言、图像乃至更多模态，也可能由此共享更一致的模型架构与训练范式。
在图像自回归的不同路线中，直接建模原始像素（pixel space）是最为彻底的一种。它无需额外视觉tokenizer，不用先将图像压缩为离散token，因此减少了编码、量化带来的信息损失与系统割裂。
然而，像素空间自回归（pixel-space AR）长期面临生成质量不佳的困境。来自北京大学和深势科技的研究者通过系统实验剖析了制约其生成效果的瓶颈，并基于此提出了Parallel Rollout Approximation（PRA）。在ImageNet-1K 256×256类条件生成任务上，135M参数的PRA-Small已超越此前十亿参数级别的pixel-space AR模型；511M参数的PRA-Large进一步达到FID 1.94，刷新了pixel-space AR图像生成的性能纪录。
论文标题：Parallel Rollout Approximation for Pixel-Space Autoregressive Image Generation
论文链接：https://arxiv.org/abs/2606.27978
代码链接：https://github.com/MangataX/PRA
作者：Jiayi Xu、Di He、Guolin Ke
机构：北京大学、深势科技（DP Technology）
像素空间自回归难在哪里？
在pixel-space AR中，每个pixel patch身兼双重角色：它既是当前步骤需要生成的目标，也是后续步骤依赖的上下文输入。因此，pixel-space AR的困难可从两个方向拆解：作为输出，高维连续pixel patch是否本身难以生成；作为输入，前面生成的patch一旦带有误差，是否会在后续自回归过程中不断传播。作者的诊断实验正是围绕这两个核心问题展开。
诊断实验：锁定两大核心瓶颈
在输出端，作者设计了一组对比诊断实验：同样在pixel-space下，将AR模型与diffusion模型JiT置于相同设置下对比，并控制自回归序列长度不变，观察token维度变化带来的影响。结果显示，当token维度较低时，AR与JiT的差距并不大；但当token维度从48增加到768后，AR的FID明显恶化，与diffusion模型的差距迅速拉大。这说明，pixel-space AR的第一个瓶颈在于高维连续token的单步生成难度更大。
在输入端，作者进一步考察训练—推理不一致带来的影响。AR训练通常采用teacher forcing，模型看到的是干净的ground-truth prefix；但推理时，模型只能依赖自己前面生成的patch。实验显示，对输入token注入噪声可明显改善AR性能，说明让训练输入更接近推理时的“非完美输入”确实有效。但这种改善仍然有限。简单噪声注入无法真正模拟模型推理时生成的token分布；而真正的on-policy rollout又代价过高，效率难以接受。
这组诊断实验最终揭示了pixel-space AR的两个核心瓶颈：高维pixel token带来的单步预测误差，以及teacher-forced训练与自回归推理之间的分布不匹配。二者相互耦合，使采样过程中的误差不断累积并被放大。PRA后续的两个设计，正是分别针对这两个问题提出的。
PRA：降维 + 并行 rollout 近似
针对上述两个瓶颈，PRA分别从输出端和输入端进行改造：在输出端，用低维中间态替代高维pixel token，降低单步生成难度；在输入端，用并行构造的decoded pixel inputs来近似rollout输入，缓解训练—推理分布不一致。
先预测低维中间态，再解码回像素
这样，AR模型每一步的生成目标从768维像素patch变成低维中间态，单步预测难度大幅下降。
需要强调的是，PRA并不是传统latent-space AR。这个中间态并非由外部tokenizer提供的latent，而是与AR模型端到端一起学习出来的。虽然PRA在模型内部引入了中间态，但每一步都会通过pixel decoder回到像素空间；推理时，模型仍然保持pixel-in、pixel-out的pixel-space AR接口。
并行构造 rollout-like 输入
低维中间态降低了输出端的单步生成难度，但输入端的训练—推理不一致问题仍然会导致生成误差随着自回归过程逐步累积。理想情况下，训练时也应让模型看到类似推理rollout中生成出来的pixel inputs。但真正执行on-policy rollout成本非常高：自回归生成本身是串行的，并且每个token的生成还需diffusion head进行多步采样。
因此需要找到一种方法，既能较好地模拟推理时的输入分布，又能保持teacher-forced训练的并行性。
PRA的做法是：训练时不真的串行生成完整序列，而是对目标中间态加噪，模拟diffusion head采样时可能产生的偏差，再通过同一个pixel decoder得到decoded pixel inputs。这些decoded pixel inputs会作为AR Transformer的训练输入。
由于它们经过了与推理阶段相同的“中间态 → 像素”路径，因此比干净的ground-truth pixel和简单地在pixel-space加高斯噪声更接近推理时模型实际看到的输入分布，同时又可并行构造。这就是Parallel Rollout Approximation：用并行构造的decoded pixel inputs，近似推理rollout中模型会遇到的输入分布，从而缓解训练—推理分布不一致的问题，减少误差在自回归过程中的累积。
实验：显著推进像素空间自回归
作者在ImageNet-1K 256×256类条件生成任务上验证PRA。图像被切成16×16 patch，自回归序列长度为256，每个原始像素token维度为768。论文评估了三个不同规模的模型：PRA-Small、PRA-Base和PRA-Large，参数量分别为135M、250M和511M。
结果显示，PRA在pixel-space AR上取得了显著提升。仅135M参数的PRA-Small达到FID 2.58，超过1.9B参数的FARMER-1.9B/8（FID 3.60）。也就是说，PRA-S参数量仅为后者的约十四分之一，却取得了更优的生成质量。随着模型规模继续增大，PRA的表现进一步提升：PRA-Base达到FID 2.21，PRA-Large达到FID 1.94，将pixel-space AR的最佳FID从3.60推进到1.94。
这一结果尤为值得关注，因为PRA并未依赖外部tokenizer，也不是两阶段latent-space生成方法。它仍然保持端到端训练与pixel-in、pixel-out的pixel-space AR接口，却将pixel-space AR推进到更具竞争力的水平。这说明，pixel-space AR过去效果不佳并不意味着这一路线本身不可行；更可能是因为高维预测和训练—推理不一致这两个核心问题没有被同时解决好。
生成之外：像素空间自回归的理解能力
除了生成效果，PRA在视觉理解上也展现出潜力。论文在ImageNet linear probing上评估模型表征能力，PRA-Large的top-1 accuracy达到68.80%，明显高于多个AR和diffusion baseline。这表明，端到端pixel-space AR不仅可生成高质量图像，也能学到对图像理解更有用的视觉表征。
总结
PRA重新证明了pixel-space AR的潜力。过去，直接在像素空间做自回归生成长期表现不佳，核心原因在于高维pixel token带来的单步预测误差，以及训练—推理不一致造成的误差累积。PRA通过低维中间态和并行rollout近似，同时针对输出端和输入端进行改造，在不依赖外部tokenizer的情况下显著提升了生成质量。
值得关注的是，PRA不仅能生成高质量图像，也展现出较强的视觉表征能力。这意味着pixel-space AR可能不只是图像生成路线之一，也有潜力成为连接视觉生成、视觉理解和多模态大模型的一条重要路径。从这个角度看，PRA的意义不只是FID从3.60推进到1.94，而是让一个长期困难但极具吸引力的方向重新变得可行：直接在原始像素空间中，用与大语言模型一致的自回归范式，学习既能生成、也能理解的视觉表征。
常见问题与解答
- Q: PRA和传统的latent-space AR有什么本质区别？
A: 核心区别在于中间态的性质。PRA并不使用外部tokenizer（如VQ-VAE）将图像压缩成离散的latent token，而是与AR模型端到端一起学习出一个低维中间态。推理时，模型仍然保持pixel-in、pixel-out的pixel-space AR接口，不依赖外部tokenizer。因此，PRA是pixel-space AR的一种改进，而非latent-space AR。
- Q: PRA是如何解决训练-推理不一致问题的？
A: PRA通过并行构造rollout-like输入来解决。具体做法是在训练时，对目标中间态进行加噪，模拟推理时diffusion head采样可能产生的偏差，然后通过pixel decoder得到decoded pixel inputs。这些输入比干净的ground-truth pixel或简单的高斯噪声更接近推理时模型实际看到的输入分布，并且可以并行构造，从而有效缓解了训练-推理不一致问题。
- Q: PRA的生成质量到底有多好？
A: 在ImageNet-1K 256×256类条件生成任务上，PRA-Small（135M参数）的FID达到2.58，超过了此前1.9B参数的FARMER-1.9B/8（FID 3.60）。PRA-Large（511M参数）的FID达到1.94，大幅刷新了pixel-space AR的最佳性能。这表明PRA在更小的模型规模下，就能取得比以往更大模型更好的生成效果。
小提示
理解PRA的核心在于把握两个关键创新：低维中间态解决了高维预测的困难，并行rollout近似缓解了训练-推理不一致的误差累积。这两个设计相辅相成，共同使pixel-space AR变得可行且高效。