特征空间揭示视觉潜在推理不稳定的关键缺口

导读：视觉潜在推理（visual latent reasoning）的初衷十分明确——希望多模态模型能够在内部生成连续的潜在表征（latent token），并借助这些中间表示来弥补多模态理解与推理任务中“缺失的视觉证据”。然而，理想与现实之间往往横亘着一个核心难题：模型生成的潜在表征并不一定落在它原本熟悉的视觉输入空间内。如果模型自身都无法正确解读这些表征，那么它们就很难成为真正有效的中间视觉证据。

来自阿里通义千问（Qwen）大模型应用团队、滑铁卢大学、浙江大学以及Vector Institute的研究者提出了GAP（Granular Alignment Paradigm，细粒度对齐范式）。思路非常直接：既然问题出在“生成的潜在表征能否被模型理解”，那么就从三个粒度同时进行对齐。具体而言：

• 特征对齐：让潜在表征回归到模型熟悉的视觉表示空间，而非直接复用输出侧的隐藏状态（hidden state）；
• 语义对齐：通过文本描述来检验潜在表征究竟传达了哪些视觉证据，使连续向量不再是一个完全的黑箱；
• 分配对齐：仅在基座模型真正感到困难的样本上启用潜在表征，避免在简单题目中引入额外噪声。

在Qwen2.5-VL 7B上，GAP围绕这三层对齐开展了验证。实验结果表明，该方法在改善平均视觉感知与平均多模态推理表现方面均取得了正向效果。

论文标题：Fill the GAP: A Granular Alignment Paradigm for Visual Reasoning in Multimodal Large Language Models
论文链接：https://arxiv.org/pdf/2605.12374
方法名称：GAP（Granular Alignment Paradigm）
作者：Yanting Miao、Yutao Sun、Dexin Wang、Mengyu Zhou、Pascal Poupart、Lei Lv、Li Xu、Qi Zhao、Li Wang、Hao Li、Xiaoxi Jiang、Guanjun Jiang
机构：Qwen Large Model Application Team, Alibaba；University of Waterloo；Zhejiang University；Vector Institute

GAP的核心思想是将视觉潜在推理拆解为三类对齐问题：数据层、特征层和模型能力层。下面我们逐一展开分析。

为什么多模态模型需要「中间视觉证据」？

多模态大模型目前已经能在大量图文任务中给出流畅的答案，但若仔细审视，那些更细粒度的视觉推理任务中，错误往往并非单纯源于语言推理能力不足，而是因为视觉证据定位不够充分。换句话说，模型“没看到”它应该关注的内容。

视觉潜在推理旨在让模型在内部生成连续的视觉潜在表征。你可以将这些表征理解为一种中间视觉表示，它们会在自回归生成过程中被重新输入模型，以辅助后续的文本推理。这个思路听起来很轻巧，对吧？但问题在于，它并非天然稳定。

现有视觉潜在方法的关键假设：输出可直接当作输入

许多视觉潜在方法采用了一种“输出即输入”的范式：模型先生成一个输出侧的隐藏状态，然后直接将该隐藏状态作为下一步潜在表征的输入嵌入。从概念上看这很自然——既然隐藏状态已经承载了模型当前步的推理状态，为什么不继续喂回去，让模型沿着这个连续空间继续“思考”呢？

论文指出，这个看似自然的做法在现代pre-norm多模态大语言模型（MLLM）中隐藏着一个特征空间层面的风险：解码器输出侧的隐藏状态并不一定与输入侧的文本和视觉嵌入处于相同的分布或尺度区间。换句话说，一个向量适合作为输出读出，并不意味着它也适合作为下一步的输入。

上图展示了一个典型例子。在Monet-7B中，解码器隐藏状态的范数随层数显著增长，远高于输入嵌入的尺度区间。论文以Monet-7B（基于Qwen2.5-VL 7B的视觉潜在模型）为代表进行了分析。观察发现，在pre-norm Transformer中，层归一化作用于子层输入，但残差流本身并不会在每次残差相加后被重新归一化。因此，隐藏状态的范数会沿解码器深度不断累积。

具体测量结果如下：

• 输出侧文本隐藏状态的L2范数约为文本输入嵌入的546.4倍；
• 输出侧视觉隐藏状态的L2范数约为视觉输入嵌入的8.7倍；
• 这种范数增长在Monet-7B的潜在微调后依然存在，说明它并非原始基座模型的偶然现象，而是与底层pre-norm解码器的残差流机制相关。

这意味着，如果直接将输出侧的隐藏状态作为下一步视觉潜在输入，模型实际上是在读取一种它在训练时从未作为输入嵌入见过的向量分布。论文将这一问题概括为特征空间错配：潜在表征存在输出空间与输入空间之间的错配。

仅校正范数，也能带来收益

为了验证这种错配并非纯粹的理论担忧，论文设计了一个简单但极具说服力的干预实验。

作者以Monet-7B作为“输出即输入”的潜在基线，在推理时加入了无需训练的EMA（指数移动平均）范数校准。这个操作不改变训练数据、不更新模型参数，也不改变主干模型，它只做了一件事：将预测潜在表征的范数重标定到输入视觉嵌入的范数范围。

结果如何？仅凭这个推理时范数校正，就让HRBench2K从70.75提升至71.63，让MathVista从61.30提升至63.30，平均提升从66.03升至67.46。GAP的重构路径也正是试图让生成的潜在表征回归到更接近输入视觉嵌入的范数区间。

这个实验的意义在于，它将问题收束到了一个更具体的位置：视觉潜在表征本身并非无效，关键在于它是否以输入兼容的形式反馈给模型。范数校准只处理了尺度问题，而GAP要处理的是子空间与监督方式的问题。

GAP：三层对齐

GAP的全称是Granular Alignment Paradigm。它并非简单地将视觉潜在推理简化为“插入更多连续表征”，而是将潜在表征的训练与反馈拆分为三类对齐：数据层对齐、特征层对齐和模型能力层对齐。

数据层：让连续潜在表征拥有可检查的视觉目标

连续潜在表征存在一个天然的难点，即不可见。模型生成一个向量，我们很难直接知道它究竟应该表达什么视觉信息。GAP的数据层对齐并非只是“收集更多样本”，而是将每个潜在监督样本组织成一种可检查的响应范式：让连续潜在目标与可读的视觉意图描述同时出现在同一条教师回复中。

具体来说，每个训练样本包含查询图像、问题、中间辅助图像和结构化教师回复。训练时，中间辅助图像不会作为学生模型的输入，它经过冻结ViT得到的嵌入仅作为潜在头（latent head）的监督目标。文本侧则保留结构化的描述，用自然语言记录这段潜在表征预期表达的辅助视觉内容。

总结一下：连续潜在表征负责提供可学习的视觉目标，文本描述负责提供可读的语义解释。推理时没有辅助图像，模型需要自回归地产生这些潜在位置，再将它们反馈给后续推理。这样一来，连续潜在表征不再是完全不可检查的黑箱目标，训练信号中既有连续视觉目标，也有可读的响应描述，便于分析潜在监督究竟在教模型生成什么视觉证据。

特征层：用低秩参数化约束视觉潜在空间

既然不能直接将输出侧的隐藏状态当作视觉输入，那怎样才能让模型生成的视觉潜在表征更像它原本熟悉的视觉输入？

一个最直接的想法是训练一个完整的潜在头，让它从解码器状态预测高维视觉嵌入。但这里存在一个实际问题：视觉潜在表征需要表达高信息密度的中间视觉证据，而当前缺乏大规模、高质量的潜在监督数据。在这种条件下，完整的高维映射会带来大量冗余自由度和高维噪声。对于需要逐步反馈的自回归推理而言，一旦某一步潜在表征学到了不稳定方向，后续生成就很可能继续放大这种误差。

为了应对高维映射带来的冗余，作者提出了一种新的潜在头构建方式：PCA对齐潜在头（PCA-aligned latent head）。它让潜在头先预测PCA系数，而不是直接预测完整的高维视觉嵌入。这种设计带来两点好处。

第一，PCA约束了参数空间。传统完整头近似优化一个D×D的高维映射，但论文发现，视觉嵌入空间具有低秩化的特点。通过固定PCA基，需要学习的部分被压缩到了D×d，其中d远小于D。在保留95%信息量的设置下，可学习潜在系数维度从3584降至629，约为原空间的17.6%。PCA基由训练集中辅助图像的视觉嵌入离线计算，并在训练中固定不更新。也就是说，GAP并非让模型自由学习一个完整的视觉重构器，而是在已有视觉嵌入的主成分坐标系里学习潜在系数。

第二，PCA重构的潜在表征更接近模型熟悉的视觉输入。真实视觉嵌入的主要变化方向已由PCA提供，潜在头只需要学习如何预测这些主方向上的系数。这既节省了参数化自由度，也将生成潜在表征限制在更紧凑、更接近真实视觉输入分布的子空间中，从而降低输出侧隐藏状态与输入侧视觉嵌入之间的特征错配。

从长远来看，PCA的有效性也提示了一个更大的问题：视觉潜在推理或许需要类似“潜在预训练”的阶段。在当前缺乏专门的大规模潜在预训练时，直接训练高秩潜在空间十分困难。PCA相当于暂时借用了模型已有视觉特征空间中的统计结构，将视觉编码器学到的主成分作为结构先验，以一种更轻量、更数据友好的方式完成了对齐与压缩。

模型能力层：仅在基座模型真正困难的样本上施加潜在监督

特征层解决的是潜在表征如何生成，模型能力层则解决潜在表征应该用在什么样的样本上。GAP的判断是：视觉潜在表征不应被当作默认步骤，而应根据模型当前能力与题目难度，分配给基座模型确实感到困难的样本。

这种难度感知分配的直觉很简单：当基座模型无法仅根据问题图像正确解答时，它往往需要额外的中间视觉证据来辅助推理；而视觉潜在表征正是为此类样本提供这种证据。如果基座模型已经能够稳定答对，强行加入潜在监督可能会引入额外噪声，甚至破坏原有能力。

论文对每个训练问题使用Qwen2.5-VL 7B基座模型进行8次采样，估计经验正确率。在当前实验中，只有基座模型8次都未答对的样本才保留潜在监督；其他样本则转为纯文本训练。

主结果：同时改善平均感知与平均推理

论文最关键的实验问题是：对齐后的视觉潜在表征，能否避免多模态感知能力提升但推理能力下降的问题？

结果显示，在本文评测设置下，GAP同时改善了平均视觉感知和平均多模态推理表现。视觉感知侧，论文使用了HRBench2K、MMStar和MME-RealWorld-Lite，并定义Avg-P为三者Overall指标的平均值。

从表中可以看到，Qwen2.5-VL 7B基座模型的Avg-P为57.66，Dense Caption SFT为59.40，Monet-7B为59.58，LVR为60.75。GAP达到61.32，在本文评测方法中最高。单项指标上，GAP在HRBench2K Overall达到73.25，在MMStar达到63.40。

多模态推理侧，论文使用了MathVista和WeMath，其中WeMath同时报告strict与loose两种准确率，并定义Avg-R为MathVista、WeMath-S和WeMath-L的平均值。

在Avg-R上，Qwen2.5-VL 7B为52.62，Dense Caption SFT为47.24，Monet-7B为47.99，LVR为47.66。GAP达到53.97。这个结果尤其值得注意：一些既有潜在基线在感知任务上有所提升，但平均推理指标下降明显；GAP是唯一一种能同时改善Avg-P和Avg-R的潜在推理方法。

组件分析：低秩结构先验与选择性监督的作用

在数据监督质量与监督分配方面，论文比较了Monet潜在模型、使用Monet SFT数据的潜在头训练配置，以及使用49K精选潜在监督设置的全潜在版本和难度感知版本。结果显示，精选潜在监督在HRBench2K和MathVista平均上显著优于Monet 125K SFT数据相关设置；难度感知版本又优于全潜在版本。

这说明GAP的收益不仅来自“拥有潜在头”，也来自更干净、更匹配任务的潜在监督，以及对潜在监督使用位置的选择。

在维度约减相关实验中，论文比较了无PCA的完整潜在头，以及保留85%、90%、95%信息量的PCA版本。保留95%信息量对应629个主成分，在HRBench2K、MMStar和MathVista的Avg-3上达到69.22，相比Qwen2.5-VL 7B的65.69提升+3.53，也高于无PCA的LH+DA。

这组实验的意义不仅是验证“降维有没有用”，而是在验证一个更基本的假设：在潜在数据规模有限、潜在预训练尚未充分建立的阶段，视觉潜在头需要显式的低秩结构先验。PCA提供的主成分坐标系让模型优先学习视觉嵌入中方差最大、最稳定的变化方向，而不是将优化预算浪费在完整高维空间的冗余自由度上。

论文对这一结果的解释是：PCA同时起到了子空间约束、容量控制和输入空间参数化的作用。它并不证明PCA是唯一可行的低秩方法，但说明将生成潜在表征约束到经验视觉嵌入坐标系中，是比不受约束的完整头更稳健的方向。也可以将其理解为一种过渡方案：在缺乏大规模潜在预训练的情况下，先借助模型已有视觉特征空间进行对齐与压缩。

生成的潜在表征是否真的包含视觉信息？

一个很自然的疑问是：GAP的收益会不会只是来自增加了潜在表征位置？如果模型仅仅通过测试时计算（test-time scaling）来获得收益，而这些连续表征本身并无有用内容，那么视觉潜在推理的有效性就要大打折扣了。

对此，论文设计了推理干预实验：

• 原始基座模型：Qwen2.5-VL 7B，不使用潜在表征，作为基础能力参照；
• 纯文本监督对照：Dense Caption SFT，使用同一批精选数据做纯文本SFT，用来判断收益是否仅来自更细的文本描述；
• GAP无潜在生成（zero latent）：使用GAP模型，但禁用潜在生成，用来观察GAP的训练本身是否能带来视觉理解增益；
• GAP噪声潜在（noise latent）：使用GAP模型，但用高斯噪声替换模型正常预测的潜在内容；
• GAP预测潜在（clean latent）：使用GAP模型，并保留模型自生成的潜在特征。

在HRBench2K与MathVista的Avg-2上，基座模型为68.31，Dense Caption SFT为68.79。GAP模型在禁用潜在生成后仍达到70.33，说明具备潜在训练目标的模型本身会学习到与视觉更加相关的推理模式。进一步使用正常生成的视觉潜在后，Avg-2达到72.13；而用高斯噪声替换潜在内容时下降到69.69，甚至比Dense Caption SFT更差。这清楚地表明，GAP的收益来自成功生成的视觉潜在表征，而非单纯增加推理时的计算量。

潜在表征预算：并非越多越好

论文还分析了潜在表征预算（latent token budget）。非零表征预算被组织为方形潜在网格，例如4个表征对应2×2，16个表征对应4×4，36个表征对应6×6。

结果显示，在HRBench2K、MMStar和MathVista的Avg-3上，36个表征达到最高平均值69.22，16个表征也接近，为69.11。继续增加到64或144个表征后，平均表现并未继续提升。

但这个结果不能简单理解为“36个表征就是普适最优”。更合理的解释是：潜在表征预算需要与图像分辨率和任务类型一同考虑。MathVista和MMStar的输入分辨率相对较低，需要建模的中间视觉证据也更为压缩，较小的潜在网格通常已足够；如果继续增加潜在表征数量，自回归生成链会变长，后续潜在表征更依赖前面已生成的内容，暴露偏差和噪声反馈反而可能被放大。

相比之下，HRBench2K面向高清图像，更容易需要局部、细粒度的中间视觉证据。对这类任务而言，更多的潜在表征可以提供更精细的空间承载能力，帮助模型在内部形成更充分的视觉线索。因此，视觉潜在推理的表征预算并非一个单调的容量参数，而是需要在图像分辨率、任务粒度、推理成本以及自生成潜在表征的可靠性之间取得平衡。

结论：要补上的不是一步推理，而是输入与输出之间的GAP

这篇论文的核心贡献在于指出了一个当前潜在推理的失败模式：在pre-norm多模态大模型中，输出侧的隐藏状态与输入侧的视觉嵌入可能处于不同的范数区间和经验子空间，直接采用“输出即输入”会导致潜在分布错配。

GAP的回答是三层对齐：

• 数据层：用辅助图像监督和解析器文本使潜在目标更可检查；
• 特征层：用PCA对齐的潜在头将生成潜在表征对齐并重构回视觉嵌入空间，使自生成的视觉证据更具输入兼容性；
• 模型能力层：用难度感知分配将潜在监督放在基座模型更需要的样本上。

从结果看，GAP在本文评测设置下同时提升了平均视觉感知与平均多模态推理表现；从干预实验看，正常生成的视觉潜在表征确实携带了任务相关信号；从表征预算扫描看，潜在容量需要控制，而非简单做大。

所以，GAP真正想表达的是：在视觉潜在推理中，要补上的并不只是推理链中的一步，而是输出空间与输入空间之间的那个gap。

注：这里的“信息量”指PCA中的累计解释方差（Cumulative Explained Variance），即主成分所保留的数据方差信息比例。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：特征空间揭示视觉潜在推理不稳定的关键缺口要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题