GPT-4o视觉推理仅得21分 AI能力受质疑

当前最先进的AI图像模型能否轻松完成简单的视觉推理？德国达姆施塔特工业大学的一项最新研究表明，答案是否定的——即便是当今最强的人工智能图像模型，在基础的视觉推理任务面前也会频频出错。

研究人员借助“邦加德问题（Bongard problems）”对多种视觉语言模型（VLMs）进行了系统测试。这类谜题对人类而言并不困难，通常是一眼就能看明白的程度。它由俄罗斯科学家米哈伊尔·邦加德创立，具体形式如下：呈现12幅简单的图像，分为左右两组，要求找出区分这两组的规律。本质上，这考验的是抽象的类比推理能力。

举个具体例子：下方左边一组和右边一组，区别究竟在哪里？

正确答案是：注意封闭曲线内部与外部小点的聚集程度。左边那组，曲线内部的小点密集，外部稀疏；右边那组则恰恰相反，外部密集而内部稀疏。

GPT-4o等顶级模型同样表现欠佳

测试结果令人意外——这些模型在处理人类觉得“还需要思考吗？”的基础任务时，遇到了巨大障碍。

举例来说，它们难以分辨垂直线与水平线，甚至无法判断螺旋是顺时针还是逆时针旋转。这些并非深奥的哲学难题，而是最基础的视觉概念，但即便是当前最领先的人工智能模型，也在此类任务上撞上了瓶颈。

从下图可以直观看出：人类一眼就能区分垂直与水平，但像GPT-4o这样顶级的视觉语言模型，却在这样基础的任务上栽了跟头。

要知道，GPT-4o一直被视为多模态模型领域的标杆，然而结果呢？它在100个视觉谜题中仅答对了21个。其他我们熟知的模型，如Claude、Gemini和LLaVA，表现甚至更不理想。

再看下面的分析。在判断旋转方向或空间关系这类简单的视觉概念时，这些视觉语言模型给出的结果相当不稳定，尤其在解读螺旋的形状与方向性方面表现尤为吃力。

比如这个问题是：“这些图像的旋转方向是什么？”CW代表顺时针，CCW代表逆时针。结果非常清晰——没有哪个模型能将所有题目全部答对。

有趣的是，如果给模型提供几个选项供其选择，情况会略有改善。而当可选答案被限制到极少时，效果才真正显现——在这种情况下，GPT-4和Claude分别答对了100个谜题中的68个和69个。

这些数据将当前视觉语言模型的短板暴露无遗：即便最顶尖的GPT-4o，也只能解决100个经典邦加德问题中的21个。只有在选项被严格限定时，成功率才勉强提升。

研究人员还特意挑选了四个问题，详细分析了模型失败的原因。他们发现，人工智能系统有时在尚未进入真正的“思考”与“推理”阶段之前，仅仅在最基础的视觉感知层面就已经崩溃了。但至于具体原因，目前还没有找到明确的单一答案。

重新审视人工智能评估基准

这项研究提出了一个关键问题：我们究竟应该如何评估人工智能系统？现有的评测基准，是否真的能准确衡量模型的真实推理能力？研究团队的观点很明确——这些基准标准，确实到了需要重新思考的时候。

他们在论文中写道：“我们的发现引出了几个核心疑问：视觉语言模型在各种现有基准测试中明明表现抢眼，为什么一到看似简单的邦加德问题上就卡了壳？这些基准在评估真实的推理能力方面，究竟有多大参考价值？”

这项研究由达姆施塔特工业大学牵头，联合艾因霍温理工大学和德国人工智能研究中心（DFKI）共同完成，并获得了德国联邦教育与研究部以及欧盟的资助。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：GPT-4o视觉推理仅得21分 AI能力受质疑要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题