AI难辨车轮方位？SOCO基准测试新出炉

这项由马克斯·普朗克信息学研究所（隶属于萨尔兰信息学园区）、CISPA亥姆霍兹信息安全中心以及弗莱堡大学共同完成的前沿研究，于2026年6月以预印本形式公开发布，对应的论文编号为arXiv:2605.31597v2。

一、当AI认识了"轮子"，却分不清哪个是哪个

你是否曾思考过，当我们说一个人"真正认识"一辆自行车时，这究竟意味着什么？对大多数人而言，认识一辆自行车，并不仅仅停留于知道它叫"自行车"这个名字，也不仅仅是能将它与摩托车或是汽车区分开来。真正的认知，意味着你能清晰地指出它的左侧车把和右侧车把、前轮和后轮、车座与踏板——而且，无论这辆自行车是红色还是蓝色，是崭新的还是锈迹斑斑的，亦或你是从哪个角度观察它，你都能准确地辨认出那些对应的部件。

现在，如果将这一挑战交给当今最强大的人工智能视觉模型，结果会如何？研究团队发现，答案出乎意料：这些模型能够识别出"轮子"这一概念，却常常难以确定眼前的这个轮子究竟是前左轮、前右轮，还是后左轮。更有意思的是，当你要求它将一辆汽车的某个部件，与另一辆公共汽车上的对应部件进行匹配时，许多模型便开始显得力不从心。

这个问题，正是这篇论文希望测量并解决的核心所在：我们究竟该如何衡量AI对物体结构的"真正理解"？为此，研究团队专门打造了一套名为SOCO的基准测试系统，并由此揭示了一系列现有模型的认知盲区。这不仅仅是学术圈内的技术探讨，更直接关系到机器人抓取物体、自动驾驶汽车识别道路上的行人与障碍物，以及医疗影像分析等众多实际应用场景。

二、现有的"考试题目"出了什么问题

在理解SOCO的创新之处之前，我们有必要先搞清楚研究者们发现的那些旧有问题。

过去几年，研究者们已经积累了一些用于测试AI视觉理解能力的"标准考题"。其中，最广为人知的当属SPair-71k。这个数据集包含了71000张图像对，覆盖18种物体类别，曾是业内的评测标杆。此外，还有PF-PASCAL、PF-WILLOW、MISC210K等数据集，它们各有侧重.

然而，这些"考题"存在一个共同的根本缺陷：它们混淆了两件本质上截然不同的事情。

一件事是"识别出同一个局部概念"。比如，看到一辆自行车，能认出"这里有一个轮子"。另一件事则是"搞清楚这个概念在整个物体中的具体位置"。比如，这个轮子究竟是前轮还是后轮？是左侧的还是右侧的？

更严重的问题在于，这些旧数据集的关键点标注方式相当随意且混乱。有些关键点纯粹是根据几何形状来定义的，例如"电视机边框的中点"或"船身轮廓的中点"——这些点与真正有意义的语义概念毫无关联，不同标注者的结果也可能大相径庭。对于那些形态变化丰富的物体类别（例如船只，其形状千变万化），或者具有高度对称性的物体（如花瓶、花盆），这种基于几何的标注方法更是会产生严重的歧义。举一个具体的例子：在现有数据集中，"火车"这个类别的关键点定义就前后不一，有时"末端"指的是火车头，有时又指向车尾。

另一个重大缺失是，这些旧数据集都只在同一类物体内部测试对应关系——即汽车与汽车配对，椅子与椅子配对。然而在真实世界里，汽车、公共汽车和卡车在许多部件上是相通的。如果AI能真正理解"轮子"这个概念，它理应能够将汽车的前左轮与公共汽车的前左轮对应起来。现有的测试完全忽略了这种跨类别的迁移能力。

此外，没有任何一个现有数据集为关键点提供了自然语言描述，这使得我们无法对大型视觉-语言模型（即那些既能理解图像又能理解文字的模型，如GPT-4V）进行系统性的评估。

三、SOCO：一套拥有"分类树"的新型考试体系

研究团队设计SOCO（语义物体对应关系数据集）的核心思路，是首先建立一个清晰的"分类框架"，然后在这个框架之上收集数据并设计测试。

这一框架将"理解物体"这件事划分为三个层次，类似于从认识"轮子"这个词汇，到弄清楚是哪个轮子，再到跨越不同车型都能匹配上号的递进过程。

第一个层次叫做"概念对应"（CC），它测试的是模型能否识别出同一个局部概念。例如，给你看两辆不同的自行车，你能否将"手把"与"手把"对应起来？请注意，这里并不要求分清是左侧手把还是右侧手把，只需认出"这两个部分都是手把"就算通过。这个任务相对容易，但对于那些包含多个相同部件的物体（例如有四条腿的椅子），正确答案可能并不唯一。

第二个层次叫做"语义物体对应"（SOC），它对模型提出了更高的要求。不仅需要识别出是同一个概念，还要确定它在物体上的具体位置。例如，给你看两辆自行车，需要将左侧手把对应左侧手把，右侧手把对应右侧手把，不能混淆。在这种情况下，答案是唯一的——每个关键点只有一个正确的对应点。要完成这一任务，AI必须既懂得"手把是什么"，还要明白"在这辆车的坐标系中，左边和右边意味着什么"。

第三个层次叫做"跨类别语义物体对应"（Cross-SOC），这是最具挑战性的部分。它要求将一辆汽车的前左轮与一辆公共汽车的前左轮对应起来，或者与一辆拖拉机的前左轮对应。这需要AI能够抽象出"前左轮"这一概念，并理解它在不同形态的车辆上是如何体现的。

为了支撑这三个层次的测试，研究团队建立了一个横跨100个物体类别的关键点分类体系，并将这100类物体组织成四个大类：交通工具（31类，涵盖汽车、公交车、火车、飞机、自行车等）、手持物品（20类，包括吉他、小提琴、电锯、手枪等）、家具（9类，包含椅子、桌子、床等）以及动物（40类，覆盖了大量哺乳动物和鸟类）。

每一个关键点都用一个"元组"来描述：物体类别是什么、涉及的概念是什么、这个概念点在部件内的位置、以及这个部件在整个物体上的位置。例如，"公交车前左轮的中心点"这一关键点，就通过（公交车，轮子，中心，前左）这四个要素来唯一确定。这种标注方式彻底消除了歧义，任何遵循这套规则的人，标注结果都应当一致。

四、4000张图、100万对应关系：数据是如何收集的

仅有框架还不够，还需要大量高质量的标注数据。研究团队的数据收集工作做得相当扎实。

所有图片均来源于著名的ImageNet数据集，这是计算机视觉领域最重要的图像库之一，包含了海量日常物体的图片。对于人造物体类别，研究团队借助ImageNet3D数据集已有的二维和三维标注信息来辅助工作；对于动物类别，则利用了Animal3D数据集中已有的动物关键点标注。筛选标准十分严格：图片必须包含有效的姿态信息，画面中只能有一个主要物体，且物体必须足够大。

每个物体类别选取了40张图片，以确保覆盖不同的拍摄角度、不同的形态变化以及不同的个体差异。100个类别乘以40张，最终共计4000张图片。

人造物体的关键点标注工作，通过亚马逊的众包平台（Amazon Mechanical Turk，AMT）进行，但设计了严格的质量控制流程。研究团队专门开发了一个用户友好的标注界面，其中内置了关键点参考卡，用以向标注者说明该关键点应在何处、长什么样。每一张图片由三位合格的标注者独立完成，结果经过去除异常值后取中位数进行合并。所有标注都经过了人工复核，以确保一致性和准确性。

质量检验的结果相当令人满意。标注者之间的差异，以图像最大边长的百分比来衡量，中位数仅为0.85%——大约只有一两个像素的误差。在人工复核阶段，65.4%的标注只需进行细微调整，仅有6.8%需要较大的修正（主要是因为部分标注者混淆了"左"和"右"的约定）。

最终，通过在同类别图片之间进行配对（要求至少有三个共享关键点），研究团队生成了大约73000对"语义物体对应"图像对，包含约56万组关键点对应关系。跨类别配对则更为庞大，由于类别之间的配对组合数量巨大，最终生成了约130万对跨类别对应关系。再加上由相同图像对生成的"概念对应"数据，整个数据集覆盖了超过100万组对应关系。

每个关键点还附带了一句自然语言描述，例如"公交车前左轮的中心点"。这些描述按照统一模板生成，以确保表述的一致性，也为后续测试语言-视觉模型奠定了基础。

五、14个顶级AI模型一一接受"驾照考试"

拥有了这套完整的测试体系，研究团队挑选了14个当前最具代表性的视觉基础模型来参加这场"驾照考试"。评分标准名为PCK（正确关键点百分比）：预测出的关键点位置，如果落在真实位置方圆一定范围（以物体包围框最大边长的10%为半径）之内，即视为答对，最终计算答对比例。

这14个模型来自不同的技术路线。DINO家族（包括DINOv1、DINOv2、DINOv3）采用自监督学习训练，没有使用人工标注的监督信号，仅凭图像自身的内在结构来学习特征。iBOT和I-JEPA同样属于自监督模型，但训练方式各有特点。C-RADIOv3和DUNE是从其他强大模型中"蒸馏"出来的，学生模型继承了老师模型的能力。SD 2.1是著名的Stable Diffusion扩散模型，最初用于生成图像，此次被用于提取特征。CroCov2是专门针对多视角重建任务训练的。MAE是一种"遮住图像的一部分，让模型学着将其补全"的自监督方法。PIXIO则是将这种补全式学习大规模扩展后的成果。CLIP使用大量图文对进行训练，学会了将图像与对应的文字描述关联起来。PE-Spatial是PerceptionEncoder的空间感知变体，采用了非常大规模的对比学习数据。QWEN-L则是多模态大语言模型Qwen2.5-VL的视觉编码器部分。

测试在三种难度下进行，对应于前面介绍的三个层次：概念对应（CC）、语义物体对应（SOC）和跨类别语义物体对应（Cross-SOC）。每种测试抽取固定的2万对图像进行评估，以确保每个类别的比例均衡。

六、最强模型也过不了的关：数据揭示的三大盲点

测试结果描绘出了一幅相当清晰的图景，可以用三条核心发现来概括。

第一条发现：强大的语义识别能力，并不等同于对物体几何结构的理解。

这一点在所有模型上都表现得十分一致。以DINOv2为例，它在概念对应（CC）任务上的得分高达78.9分，表现相当强劲。但切换到语义物体对应（SOC）后，分数降至60.4分，直接下跌了18.5分。这一跌幅表明，DINOv2能识别出"这里有一个轮子"，却常常无法判断这个轮子究竟是前轮还是后轮、左边还是右边。

有趣的是，这一跌幅随着模型整体能力的增强而增大，而非减小。换句话说，越聪明的模型，在这个问题上暴露出的差距反而越大——因为它们在概念识别上达到了更高的水平，几何感知能力的短板便显得更加突出。

进入跨类别对应（Cross-SOC）测试后，分数进一步下滑。DINOv2的跨类别得分为55.0分，比概念对应低了近24分。排名第二的DINOv3，CC得分为69.7分，SOC得分为55.5分，Cross-SOC得分为49.4分，同样呈现出阶梯状下滑的趋势。

相比之下，像MAE和CroCov2这类主要从事图像补全或重建任务的模型，无论在哪一个层次上，分数都很低（约10分左右），接近随机猜测的水平。这些模型学到的是"如何将一张图修复好"，而非"图中的物体部件叫什么、在哪里"。

反观Stable Diffusion（SD 2.1），它的整体分数处于中等水平，但在专门测试几何感知能力的SOC-geo（即评估模型能否区分同一概念的不同几何实例，如区分前轮与后轮）测试中，SD 2.1的得分高达66.96分，超过了DINOv2的60.97分。这说明，图像生成模型在某种程度上学到了比判别式模型更多的空间几何信息，因为生成图像本身就需要准确理解物体各部件的空间位置。

第二条发现：不同物体类别对模型的挑战程度差异悬殊。

四个大类在SOC测试中的表现差异很大。家具类别对所有模型来说都是最难的，DINOv2在家具上的SOC得分仅为45.5分，而CC得分却高达77.5分，差距超过32分。这很容易理解——椅子有四条腿，桌子也有四条腿，这些腿在外观上几乎一模一样，模型很难仅凭局部外观来确定这究竟是哪一条腿。

交通工具类别的情况类似，因为车辆通常拥有左右对称的多个相同部件（如四个车轮、多个车窗车门）。动物类别的跌幅相对较小——毕竟动物不同部位的外形差异更为明显，头部和尾部很难混淆。手持物品类别则居于中间水平。

值得注意的是，在家具类别的SOC任务上，DINOv3（59.9分）明显超过了DINOv2（45.5分），尽管DINOv2在整体上表现更佳。这提示我们，不同的训练方式会带来不同的优势，综合排名往往会掩盖许多有价值的信息。

第三条发现：密集的自监督学习目标比全局对齐的目标更有利于语义对应。

DINO家族的模型在概念对应任务上表现突出，这表明它们的自监督目标促使模型学习到了稳健的局部语义特征。与此形成鲜明对比的是CLIP——CLIP通过大量图文对进行对比学习，其训练目标是让整张图像的全局特征与对应的文字描述对齐。结果，它在CC任务上仅获得24.9分，比DINOv2低了54分。

这一发现的含义是：为识别"整张图描述了什么"（例如"这是一张草地上有狗的图片"）而训练的模型，与为精确定位"图中某个具体部件在哪里"而训练的模型，学到的是不同类型的表征。前者擅长全局理解，后者则擅长局部定位。

有意思的是I-JEPA，它仅在ImageNet-1k这个相对较小的数据集上训练，却在SOC任务上取得了46.3分，展现出了相当不错的成果。这可能与SOCO数据集本身来源于ImageNet有关——I-JEPA对这些图像的"熟悉度"更高。

七、语言模型来参加视觉考试，结果如何

SOCO的另一个重要贡献是系统性地测试了那些既能看图又能理解文字的大型视觉-语言模型（LVLMs）。参与测试的模型包括LLaVA-OV-7B、InternVL3.5-8B、Qwen2.5-VL（3B和7B两个版本）、Qwen3-VL（4B和8B两个版本）以及GPT-4o。

测试形式被设计成四选一的选择题：在目标图像上标记出四个候选关键点A/B/C/D，然后询问模型"哪一个是正确的对应点"。为了防止模型通过猜测答案的顺序来作弊，每道题都以四种不同的选项排列方式询问四遍，只有四次都答对才算真正答对。这种严格的评分方式被称为CircularEval协议。随机猜测的期望分数是25分。

测试在三种情境下进行。第一种（Vis.）是纯视觉模式：在来源图像上用红色箭头标出查询关键点，让模型根据这一视觉提示在目标图像上找到对应的点。这是最直接的跨图像视觉对应测试。第二种（Vis.+Desc.）在视觉提示的基础上额外提供文字描述。第三种（Desc.）则完全去掉来源图像，仅凭文字描述，让模型在目标图像上找到被描述的关键点。

结果揭示了一个非常一致的规律：所有参与测试的模型，在纯文字描述模式下的表现都明显优于纯视觉模式，而添加了文字描述后的表现也好于纯视觉模式。Qwen2.5-VL-7B在纯视觉模式下仅获得19.4分（仅比随机猜测高出不到8分），切换到文字描述模式后，分数跃升至39.1分。LLaVA-OV-7B在纯视觉模式下的得分仅为可怜的2.9分，远低于随机猜测水平，这意味着它甚至在主动犯错；但使用文字描述后，它能够达到24.3分。Qwen3-VL-8B是所有测试的语言模型中表现最好的，在文字描述模式下达到了54.0分。

这一规律蕴含着深刻含义：当前的大型视觉-语言模型，更擅长的是"看到文字描述，然后在图中找到对应的东西"，而不是"看着一张图上标出的点，再在另一张图上找出对应点"。前者是一种语言引导的定位能力，而后者则是一种纯粹的视觉对应能力，两者之间存在本质区别。

然而，当我们将语言模型与视觉模型放在同样的四选一协议下进行比较时，对比结果更为触目惊心：DINOv2适配成四选一模式后，得分高达81.0分，比最强的语言模型Qwen3-VL-8B的54.0分还高出近27分。这说明，即便是不懂语言的纯视觉模型，在精确的视觉特征匹配方面，依然远强于那些既能看图又能说话的多模态模型。

研究团队还额外测试了不同视觉提示标记（例如使用什么形状、什么颜色来标注关键点）对语言模型表现的影响。结果发现，红色箭头是最有效的组合，各种变体之间的差距在几个百分点以内。

八、SOC得分能预测模型在其他任务上的表现吗

研究团队进行了一项非常有价值的扩展实验：将SOC评分与多种其他下游任务的表现进行关联，以探索哪个指标更能预测一个模型的"综合表现"。

参与这一横向比较的共有37个视觉模型。除了SOC测试外，每个模型还在以下任务上进行了评估：语义分割（在ADE20K数据集上测量其能否准确划分图像中不同物体的区域）、三维物体检测（在ARKitScenes数据集上测量其能否准确定位室内物体的三维位置）、三维姿态估计（在ImageNet3D数据集上测量其能否准确推断物体的三维朝向）、多视角几何对应（在NA VI数据集上测量其能否在不同视角的图像之间建立精确的几何对应）、零样本跟踪（在TAP-Vid-DA VIS数据集上测量其能否在视频中准确追踪指定点的运动）、深度估计和表面法线预测（在NYUv2数据集上测量其对单张图像的三维几何理解）。此外，还有一个对照指标：ImageNet k近邻分类准确率，即传统上用于衡量模型表现的"标准考试"。

利用统计学中的皮尔逊相关系数来衡量SOC分数与各项任务分数之间的相关程度，结果非常清晰。SOC分数与多视角几何对应任务的相关系数高达0.943，与零样本跟踪的相关系数为0.907，与三维物体检测的相关系数为0.892，与三维姿态估计的相关系数为0.692，与语义分割的相关系数为0.629，与深度估计的负相关系数为-0.798，与表面法线预测的负相关系数为-0.737（这两个负相关很正常，因为这两个任务的评分方式是误差越低越好，所以与代表能力越强越好的SOC分数呈负相关）。

相比之下，ImageNet kNN分类准确率与这些任务的相关系数则低得多，例如与多视角几何对应的相关系数仅为0.266，与零样本跟踪的相关系数仅为0.286，甚至其95%置信区间都包含了0，这表明对于某些任务而言，ImageNet分类准确率根本无法可靠地预测模型的表现。

这一发现对AI研究社区具有强烈的实践意义：花费大量计算资源在ImageNet上进行评估，或许并非最高效的方式。在零样本（无需额外训练）的前提下进行一次SOC测试，能够以更低的成本，对模型在密集视觉任务上的能力给出更为准确的预测。

九、这一切对机器人和未来AI意味着什么

归根结底，这项研究为何值得关注？

机器人要在真实世界中工作，就必须能够可靠地理解物体的结构——不仅要能识别出"这是一把椅子"，还要能准确区分这把椅子的哪条腿是哪条腿，甚至能将之前处理一把椅子时学到的知识，迁移到另一把形状不同的椅子上。自动驾驶汽车需要精确理解道路上其他车辆的各个部件，才能准确预测它们的行为。医疗影像AI则需要精确定位器官上的特定解剖位置，而不仅仅是识别出"这是心脏"。

SOCO所揭示的问题，正是这些应用场景中最容易出错的地方：模型认得概念，但定位不准；在同一类物体上表现不错，但一旦换到相关物体类别就失效了；依靠文字描述能够找到目标，但仅凭视觉提示却无能为力。

归根结底，这一数据集和基准测试体系的价值，不仅在于为现有模型"打分"，更在于指明了改进的方向——哪些能力尚存欠缺，哪些测试更能预测实际表现，以及如何构建对物体结构拥有真正理解力的下一代视觉模型。

当然，这项研究本身也存在一定的局限性。数据仅覆盖了稀疏的关键点，无法评估密集的像素级对应能力。图片全部来自ImageNet，对于那些同样在ImageNet上训练过的模型，可能存在一定的优势偏差。关键点的文字描述是按模板生成的，若能采用更丰富的自然语言描述，可能会进一步提升语言模型的表现。跨类别对应也仅限于该论文所定义的层级体系内，更遥远的类比迁移（例如"扳手的把手"与"水龙头的把手"之间的迁移）仍超出了当前框架的覆盖范围。这些都是未来可以继续探索的空间。

有兴趣深入了解这套测试体系的读者，可以通过arXiv编号2605.31597查阅完整论文。

Q&A

Q1：SOCO基准测试与SPair-71k等旧数据集的核心区别是什么？

A：SOCO的核心区别在于引入了三层递进的测试体系：概念对应、语义物体对应和跨类别语义物体对应，并为每个关键点提供了基于"物体类别+概念+几何位置"的统一标注框架。旧数据集（如SPair-71k）往往将"识别同一部件"和"区分该部件的具体位置"混在一起评分，且不支持跨类别测试，也缺乏自然语言描述，因而无法系统评估大型视觉-语言模型。

Q2：为什么DINOv2这类自监督视觉模型在语义物体对应上比CLIP表现好很多？

A：这是因为两类模型的训练目标存在根本差异。CLIP的目标是让整张图像的全局特征与对应的文字描述对齐，因此它更擅长理解"这张图整体描述了什么"。而DINOv2的自监督目标则促使它去学习图像局部区域的内在结构特征，从而获得了更精准的局部语义表示，在精确定位物体部件时具备明显优势。具体而言，CLIP在概念对应上的得分为24.9分，而DINOv2高达78.9分，差距超过54分。

Q3：为什么SOC评分能比ImageNet分类准确率更好地预测模型在跟踪、分割等任务上的表现？

A：因为SOC测试的核心能力——在外观、视角变化的条件下精确定位和匹配物体部件——与跟踪、分割、三维检测等密集视觉任务所需的能力高度重叠。ImageNet分类准确率衡量的是全局语义识别能力，而大多数实际视觉任务所需的却是局部、空间和结构层面的理解。在37个模型的横向比较中，SOC与多视角几何对应的相关系数高达0.943，而ImageNet kNN与该任务的相关系数仅有0.266。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：AI难辨车轮方位？SOCO基准测试新出炉要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题