如何用雅可比透镜解读VLM幻觉的原理与机制

视觉语言模型有个毛病：你问它图里有没有某样东西，它总爱点头说“有”，哪怕那东西根本就不在画面里。为什么会这样？

借用Anthropic最近推出的J-lens方法，我仔细看了看LLaVA-1.5-7B的内部状态，结果发现，模型其实“知道”那个物体并不存在。更让人意外的是，同样的证据，换成“这是灯还是狗？”这种二选一的问题，模型几乎全对。

换句话说，幻觉这事，或许根本就不是模型“看错了”，而是提问方式本身在作祟，模型没能把已经掌握的信息调动起来。事实上，模型对图像内容的认知，不仅可以从内部读取出来，甚至还能通过J-lens直接编辑。

TL;DR

• 把Anthropic新论文“语言模型中的全局工作空间”中的J-lens方法，跨过视觉/语言边界，直接应用到视觉语言模型LLaVA-1.5-7B上。
• J-lens的原理：它问的是——“如果我轻微扰动这一层，哪些词现在或之后更有可能被模型吐出来？”然后对大量输入取平均。最终捕获的是模型稳定携带到输出端的内容，无论上下文如何变化。论文把它当作“模型能说出来的东西”的袋里指标，并证明它像一个共享的全局工作空间。
• 对着没有灯的照片问“图里有灯吗？”，模型39次中有39次回答“有”。但读取它的内部工作空间会发现，被“幻觉”出来的灯，其信号强度比模型实际看到的任何物体都弱了一个数量级。模型的工作空间里，真实物体占据高位（低秩、强信号），而幻觉出来的物体则被压得很低（高秩、弱信号）。换上“这是灯还是狗？”这种问法，模型在78次测试中答对了77次（严格匹配75次，如果把“斑点狗”算作狗，实际就是77次；唯一一次真正的错误是把手机认成了车）。
• 视觉内容不仅能读，还能改。在模型内部交换两个概念，它会将一只斑点狗描述为“一只黑白相间的猫，脸上有斑点”。大类属性翻转过来了，但狗身上的斑点却原封不动地保留了下来。
• 冻结的视觉编码器似乎存在一个微弱的“文字通道”。虽然信号强度远不如语言模型部分，但经过校准后，效果还算看得过去。

需要说明的是，实验范围局限于一个模型（LLaVA-1.5-7B）、13个类别、39张核心图像，使用贪婪解码。文中的所有数据，都可以在文末链接的仓库中找到。

幻视中的那盏灯

给模型一张没有灯的照片，然后问：“图里有灯吗？回答是或否。”39张没有灯的照片，模型39次都说“有”。（有趣的是，当灯真的在画面里时，它也是39/39的“有”。这个模型家族存在一个众所周知的“是”倾向偏差问题。）

通过雅可比透镜读取模型在幻觉状态下的内部状态，会发现——如果只看J空间——模型其实是知道“什么在场、什么不在场”的。

雅可比透镜的作用，是把某一层的原始激活值，转换成模型词汇表上的分数。为了弄清楚“灯”这个词在这里的可读性有多强，我们把透镜指向图像标记（大约576个位置，即图片在提示词中的位置），然后看“灯”这个真实词在32,000个词汇中排第几。结果很清晰：图片中真实存在的物体，其排名中位数是16；被提示语“点名”但实际并不存在的灯，排名是111，信号强度大约差了一个数量级；而那些既不在图里也没被问到的物体，排名则掉到了430。普通的logit透镜也能看到同样的分离度（真实物体约11，缺失物体282/3142）。这是LLaVA模型自身的特性，而不是雅可比透镜的功劳。

Neo等人的研究已经证明，用普通logit透镜就能从这些位置解码出物体身份；J-lens的区别在于，它通过平均雅可比矩阵来传输激活值，而不是直接进行解嵌入。

排名从430跃升至111，说明只要在提示词里提到了某个词，它在图像标记处的可读性就会稍微增强——这很可能是问题词通过注意力机制在内部回响所致。但即便如此，在提示词中被提及的、实际不存在的物体，其在工作空间中的信号强度，仍然比模型真正看到的任何物体低一个数量级。工作空间内部确实存在“提示词中提到”与“图像中实际看到”之间的区分，但语言模型在回答问题时，没能利用好这个区分。

看着它说“是”

我们可以追踪模型是从什么时候开始倾向于回答“是”的。在决定下一个词的位置上，测量每一层模型偏向“是”或“否”的程度。曲线起初很平缓，从第13层左右开始攀升，到第20层左右达到峰值，最后在输出端稳定在“是”的一侧。

有趣的是，询问“存在物体”和“不存在物体”时，曲线的走势几乎完全重合。考虑到两者对最终结论的判断一致，这也说得通——毕竟图像内容没变，提示词只差了一个词而已。从左侧工作空间的图来看，物体的可见与否，对模型最终的输出结果几乎没什么影响。

（左：内部工作空间，可见与不可见物体之间存在区分；右：答案正在被决定）

难道模型只是“无法”在这种问题上使用视觉证据吗？恐怕不是。同样的39张图片和单词对，换一种问法：“图里的是灯还是狗？”两种顺序都问一遍，避免模型只选第一个选项，结果准确率是38/39和37/39。

所以，视觉证据一直都在，而且可读。当问题同时给出两个选项、迫使模型做出选择时，它能很好地利用这些证据。而换成是关于单一选项的是/否问题，模型就默认选择了附和。需要注意的是，在这些测试中，问题是在图像之前给出的。

至少在这个场景下，幻觉看起来并不是“感知失败”，甚至也不是“证据被覆盖”。正确的信号就在模型内部，线性可读，但面对自然存在的证据水平，它被模型的“是”倾向偏差给淹没了。在幻觉发生时，与其相信输出的词，不如从J空间中读取那些真正存在的物体。

编辑模型的所见

既然能读，下一步自然就是干扰它看到了什么。幸运的是，我们可以编辑工作空间。透镜为“狗”和“猫”各提供了一个方向向量；在模型内部，我们可以交换两者各自存在的量，并引入一个剂量系数α（α=1表示完全交换）。如果直接编辑模型输出的词，会陷入循环（“猫猫猫……”）。只编辑输入位置（提示词、图像标记）则效果很好。这些测试的自然前身，依然来自Neo等人的研究。

增大α，模型对所见内容的偏好会平滑地转向“冒名顶替者”。当α=1时，两者相当；当α超过1（大约在1.25到1.5之间）时，偏好完全翻转。如果用同样的强度，交换两个与图像无关的词，则不会产生任何变化。

看看模型在词交换前后生成的图像描述：

• “一只斑点狗站在草地上。” → “一只黑白相间的猫站在草地上，身上有斑点。”
• “一辆白色汽车停放在停车场。” → “一架飞机在天空中，前面有一辆白色汽车。”
• “一部手机，显示时间为12:20。” → “手机前面的一个时钟。”

注意那个斑点狗的例子：交换“狗”→“猫”后，动物的大类确实翻转过来了，但模型看到的斑点却保留了下来！把“猫”塞进其他品种的狗里，同样会保留狗的微笑或舌头等特征。

注入的概念还会带来它自己的“包袱”。比如，把“汽车”换成“飞机”，凭空就多了一个画面里本没有的天空。

当画面中有两个物体并排时，每个物体都有自己的“把手”：交换狗，旁边的杯子纹丝不动。

CLIP中的文字通道

最后一点。这里的视觉编码器是一个冻结的CLIP，24层补丁嵌入，没有词表，也没有解嵌入层。它自己有没有可能，单独保留一些“词形”的信息呢？

我对每个编码器层都拟合了一个J-lens。这个CLIP透镜是在144张图像上取平均，并对每个词进行了校准。我不太确定这能否算作一个真正的、类别通用的文字通道，但从编码器第10层左右开始，似乎确实能找到类似J-lens工作空间的东西。那些透镜从未见过任何图像的类别，排名依然很靠前。

要想看到信号，需要满足两个条件。第一，读取的是补丁平均后的激活值，而不是单个补丁。第二，需要对每个词进行校准。校准的方法，是减去每个候选词在所有图像上的平均分数——因为有些词在所有图像上得分都很高，会淹没真正的信号（这也是原始论文中需要做的同样修正）。满足这两个条件后，从第10层左右开始，就会出现一个看似类别通用的通道。第22层的透镜，读取第8层的激活值，效果几乎和第8层自己的透镜一样好。这说明，这是一个共享的通道，解码的是线性存在于早期层中的信号，而不是在第10层才计算出来的东西。

当然，这个结果远不如Anthropic语言模型那部分那么强。在语言模型那边，是从32,000个词汇中选词；而在这里，是经过校准后，从45个候选词中选对。

Gandelsman等人已经证明，CLIP的内部贡献是可被文本解释的，但那是通过CLIP自己共享的图像-文本嵌入空间，分解的是对最终表示的直接影响。而本文则是通过雅可比矩阵，将中间CLIP层的激活值，投影到另一个模型的词汇表中。所以，“CLIP内部可被文字读取”这一点是已知的，但本文所使用的这种具体读取机制，是新的。

新在哪

大部分内容其实都是已知的。这些模型会幻觉，问题的措辞会影响幻觉频率，这在POPE等工作中早有研究。当然，从模型激活值中解码出比它说出来的更多信息，这一点也不是新发现。坐标交换来自Anthropic的论文。我能找到的最接近的工作是Neo等人的研究，本文与那篇论文的区别在于跨边界的分析框架，以及“在场的/被问到的但缺失的/未被问到的缺失的”三重对比。

据我所知，雅可比透镜方法此前还没有被用于跨过模型的视觉-语言边界。我很高兴看到，视觉编码器中的信息也能被同样的方法捕获，并且在VLM的整个范围内都可读。

关于工具的一点说明

在语言模型层面读取的所有内容（灯的输出、强制选择实验），普通的logit透镜给出的结果基本一致，这些结果并不依赖雅可比透镜。只有在读取冻结的视觉编码器内部时，它才做到了logit透镜做不到的事：在CLIP中，对中间激活值进行简单投影，结果几乎跟随机猜测差不多，只有测量出的雅可比矩阵才能恢复出词来。（编辑实验使用的是透镜方向本身，而不是读取它们，所以我没有检查logit透镜是否也能实现同样干净的交换。）

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：如何用雅可比透镜解读VLM幻觉的原理与机制要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题