当前位置: 首页
科技数码
2025年了,AI还看不懂时钟,90%人都能答对,顶尖AI全军覆没

2025年了,AI还看不懂时钟,90%人都能答对,顶尖AI全军覆没

热心网友 时间:2025-09-09
转载

一般人准确率89 1%,AI最好只有13 3%。在新视觉基准ClockBench上,读模拟时钟这道「小学题」,把11个大模型难住了。为什么AI还是读不准表?是测试有问题还是AI真不行? 麻 将

一般人准确率89.1%,AI最好只有13.3%。在新视觉基准ClockBench上,读模拟时钟这道「小学题」,把11个大模型难住了。为什么AI还是读不准表?是测试有问题还是AI真不行?

麻 将

90%人都会的读钟题,顶尖AI全军覆没!

AI基准创建者、连续创业者Alek Safar推出了视觉基准测试ClockBench,专注于测试AI的「看懂」模拟时钟的能力。

结果让人吃惊:

人类平均准确率89.1%,而参与测试的11个主流大模型最好的成绩仅13.3%。

就难度而言,这与「AGI终极测试」ARC-AGI-2相当,比「人类终极考试」更难。

ClockBench共包含180个时钟、720道问题,展示了当前前沿大语言模型(LLM)的局限性。

论文链接:https://clockbench.ai/ClockBench.pdf

虽然这些模型在多项基准上展现出惊人的推理、数学与视觉理解能力,但这些能力尚未有效迁移到「读表」。可能原因:

训练数据未覆盖足够可记忆的时钟特征与时间组合,模型不得不通过推理去建立指针、刻度与读数之间的映射。

时钟的视觉结构难以完整映射到文本空间,导致基于文本的推理受限。

也有好消息:表现最好的模型已展现出一定的视觉推理(虽有限)。其读时准确率与中位误差均显著优于随机水平。

接下来需要更多研究,以判定这些能力能否通过扩大现有范式(数据、模型规模、计算/推理预算)来获得,还是必须采用全新的方法。

ClockBench如何拷打AI?

在过去的几年里,大语言模型(LLM)在多个领域都取得了显著进展,前沿模型很快在许多流行基准上达到了「饱和」。

甚至是那些专门设计来同时考察「专业知识与强推理能力」的最新基准,也出现了快速突破。

一个典型例子是Humanity’s Last Exam):

在该基准上,OpenAI GPT-4o的得分仅2.7%,而xAI Grok 4却提升到25.4%;

结合工具使用等优化手段后,结果甚至能进入40–50%区间。

然而,我们仍然发现一些对人类而言轻而易举的任务,AI表现不佳。

因此,出现了SimpleBench以及ARC-AGI这类基准,它们被专门设计为:对普通人来说很简单,但对LLM却很难。

ClockBench正是受这种「人类容易,AI困难」的思路启发而设计。

研究团队基于一个关键观察:对推理型和非推理型模型来说,读懂模拟时钟同样很难。

因此,ClockBench构建了一个需要高度视觉精度和推理能力的稳健数据集。

ClockBench究竟包含什么?

36个全新设计的定制表盘,每个表盘生成5个样本时钟 总计180个时钟,每个时钟设置4个问题,共720道测试题 测试了来自6家实验室的11个具备视觉理解能力的模型,并招募5名人类参与者对比

问题分为4大类:

1. 判断时间是否有效

有一个时钟

来源:https://36kr.com/p/3458800802240135

游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。

同类文章
更多
vivo X Fold6和荣耀折叠屏参数对比:电池续航长焦影像AI办公四个维度谁更全面

vivo X Fold6和荣耀折叠屏参数对比:电池续航长焦影像AI办公四个维度谁更全面

vivo X Fold6和荣耀折叠屏参数对比:电池续航长焦影像AI办公四个维度谁更全面一、两款万元内折叠屏的正面较量据IDC《全球折叠屏手机市场季度跟踪报告(2026年Q1)》,2025年折叠屏市场中7,000-9,000元价位段的增速显著高于万元段,成为折叠屏规模扩张的主力区间。在这个价位段,vi

时间:2026-07-14 17:25
在他人恐惧时保持贪婪 SK海力士DRAM定价与盈利依旧强劲

在他人恐惧时保持贪婪 SK海力士DRAM定价与盈利依旧强劲

最近,半导体与AI基础设施领域的一家顶级研究机构SemiAnalysis发布了一份题为《在他人恐惧时保持贪婪:SK海力士的DRAM定价与盈利依旧强劲》的报告,一下子就把市场的注意力拉回到了SK海力士身上。这份报告的核心结论相当明确:SK海力士在2026年第二季度乃至更远的未来,DRAM业务的盈利能力

时间:2026-07-14 12:45
创业板指重挫超4% 微盘股逆势涨2.5%

创业板指重挫超4% 微盘股逆势涨2.5%

7月10日尾盘,A股极端分化:创业板指与科创50均跌超4%,深成指跌逾2%,沪指跌0 8%,而微盘股逆势大涨2 5%,风格分化显著,市场避险情绪升温。

时间:2026-07-14 12:45
试驾体验对购车决策的影响 动力操控舒适成关键

试驾体验对购车决策的影响 动力操控舒适成关键

试驾体验直接影响购车决策,动力响应、操控精准度、座椅舒适性及NVH表现等细节决定长期用车幸福感。不同试驾感受对动力焦虑、驾驶信心和日常心情有显著差异,全面模拟真实场景的试驾有助于选到称心车辆。

时间:2026-07-14 12:45
比亚迪全球首个1700万辆新能源汽车下线里程碑

比亚迪全球首个1700万辆新能源汽车下线里程碑

比亚迪成为全球首家新能源汽车累计下线突破1700万辆的车企,第1700万辆车型为海豹08。这一里程碑得益于技术攻坚、产品矩阵完善及海外市场渗透,从刀片电池到DM-i等系统化技术为规模化铺路,展现产业链掌控力与迭代速度。

时间:2026-07-14 12:44
热门专题
更多
刀塔传奇破解版无限钻石下载大全 刀塔传奇破解版无限钻石下载大全
洛克王国正式正版手游下载安装大全 洛克王国正式正版手游下载安装大全
思美人手游下载专区 思美人手游下载专区
好玩的阿拉德之怒游戏下载合集 好玩的阿拉德之怒游戏下载合集
不思议迷宫手游下载合集 不思议迷宫手游下载合集
百宝袋汉化组游戏最新合集 百宝袋汉化组游戏最新合集
jsk游戏合集30款游戏大全 jsk游戏合集30款游戏大全
宾果消消消原版下载大全 宾果消消消原版下载大全
  • 热门数据榜