李飞飞团队揭露AI盲视:未见图即诊断比幻觉更可怕
李飞飞团队发现“海市蜃楼效应”:AI未收到图片却能给出专业诊断。实验显示,移除图片后模型准确率仍达70%-80%,医疗场景下纯文本模型甚至超越人类放射科医生。原因在于评测基准中74%-77%题目无需图片即可答对。研究建议增加无图对照测试,防止文本线索作弊。
|真正重要的不是AI演得有多像,而是它到底能不能理解它眼前的这个世界
论文名称:《Mirage: The Illusion of Visual Understanding》
(海市蜃楼:视觉理解的幻觉)
发布机构:斯坦福大学等跨学科团队(含李飞飞团队)
先提出一个问题:如果你将一张X光片传给AI,它回复了一份详尽的诊断报告,但你后来才发现——那张片子压根没有上传成功。AI什么也没看到,却给出了一份看似非常专业的结论。
这不是假设,而是这篇论文通过实验验证的现实状况。研究团队给这种现象起了一个名字:海市蜃楼效应。
这里需要明确它与大模型“幻觉”的区别。通常所说的幻觉,是指AI看到了图片却给出了错误答案;而海市蜃楼更令人意外——AI根本没看到图片,却一本正经地开始推理。
一、实验直击:把图片悄悄拿走
为了证明这并非孤例,研究团队设计了一组测试(Phantom-0),涵盖医学、生物、艺术等20个类别,共计200道视觉题目。
操作极为简单:移除图片,但不通知模型。
结果令人警醒——即便是GPT-5这样的主流多模态模型,在没有图片的情况下,依然能维持原有水平的70%至80%准确率。整体测试下来,模型的平均幻影率超过60%;而如果加上一些常用的标准化提示词、进行有来有回的对话,幻影率能够飙升到90%——基本上就是在完全假装自己看见了图片。
二、最让人担心的是医疗场景
如果这种情况发生在医疗领域,后果想想就让人脊背发凉。
团队使用69.6万道题的胸片数据集,训练了一个30亿参数的纯文本模型——也就是说,这个模型从始至终没见过一张真正的医学影像。
然后,让它在一组标准的胸片问答测试中,与前沿多模态模型以及人类放射科医生同台竞技。结果令人大跌眼镜:这个从未见过图像的模型,成绩不仅超过了多模态模型,甚至比人类放射科医生还高出十个百分点以上。
更值得警惕的是,研究团队还发现,模型在假装看片子时,给出的诊断往往偏向严重病症,比如心梗、癌症这类致命性疾病。
三、考试题目本身有问题
为什么AI会表现出这种行为?
根本原因其实出在评测体系本身。目前模型的测评基准都默认了一个前提:答对的题目越多,视觉理解能力就越强。但团队通过实验发现,相当一部分题目根本不需要看图片,仅凭题干中的文字线索就能答对。
为了量化这个问题,团队提出了一个基准清洗框架——B-Clean。结果发现,在多模态评测基准中,高达74%至77%的题目在没有图片的情况下依然能被答对。
换个角度看,过去我们追捧的各种模型视觉排行榜,可能考核的并不是模型识别能力有多强,而是它能不能根据题目猜出答案。举个例子,你问它“图片中的手有几个手指头”,它可能根据题干中的常识,直接猜了一个“5”。
如果明确告诉模型图片不存在、你随意猜,它的成绩反而会明显下降。但要是悄悄把图拿走,让它还以为图还在,结果发现分数依然能维持在高位。
这说明,模型内部存在两套截然不同的响应机制:一套是被动保守的猜测模式,另一套是主动自信的海市蜃楼模式。后者启动时,模型会自己脑补出一张图,并在那张虚构的图片基础上推演输出。
四、看清问题之后,AI下一步该往哪走
其实李飞飞团队撰写这篇论文,核心意图是提醒整个行业停下来,重新想清楚一件事:到底该用什么标准来衡量AI有没有真正“看懂”?未来AI的发展方向,究竟该往哪里走?
这篇论文给出了三个清晰的启示:
第一,必须增加无图对照的消融测试,让每一次评估都能看清,加了图到底能多加点分,不加图差距又在哪里;
第二,测评要避免只依赖公开基准或过于静态的标准题库,否则训练数据或文本线索很容易提前“作弊”;
第三,医疗等高风险场景必须严格校验有图与无图输出的差异,坚决防止模型在没有视觉输入的情况下作出危险推理。
李飞飞和她的World Labs也一直在尝试一个更大的方向:从语言模型走向世界模型。让AI能够理解物理世界的三维结构、物体属性和运动规律。她曾在一场演讲中提到,语言在生物进化史上不过是最近几十万年的产物,而视觉与触觉所代表的空间智能,早在数亿年前就开启了大自然的演化竞赛。
回到最开始的问题:AI到底是在真正看图,还是在表演?
可以确定的是,AI会越来越强大,甚至有一天可能会真正学会观察世界。但在那一天到来之前,我们至少得先学会一件事:不要因为AI给出的答案足够详细,就默认那是它的真实观察;也不要因为AI看起来好像能看见,就允许它在没有实际视觉输入的情况下,对健康问题做出不可靠的判断。
真正重要的不是AI演得有多像,而是它到底能不能理解它眼前的这个世界。
你是一名 AI 行业编辑,请围绕下面这条热点输出一份资讯解读:
热点:李飞飞团队揭露AI盲视:未见图即诊断比幻觉更可怕要求:
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题
游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。
相关热点佑驾创新与乐动机器人达成战略合作,围绕技术、产品、场景、数据四维度展开深度协同,旨在加速物理AI规模化落地,拓展无人车与机器人场景边界,推动具身智能商业化进程。
Meta开放AI算力租赁业务,市场反应从算力过剩转向算力商业运营。GPU从自用转向对外出租,算力从成本中心转为利润中心。AI云竞争核心从拥有GPU数量转向稳定跑满GPU的能力,依赖同步与参考时钟等底层基础设施的长期稳定运行。
针对大型多仓库工程(30+微服务、10+前端微应用),搭建包含规则、技能、子代理、13阶段工作流与门禁脚本的Harness系统,解决PRD不可信、方案与代码脱节、改完无人验证、交付环节琐碎等痛点,使AI在真实业务中稳定跑完需求。
部署MCP Toolbox前,先看清它的适用场景与安全边界,避免在权限管理不完善时接入敏感数据。 核心内容: 1 MCP Toolbox的核心功能与两种使用路线 2 项目适合与不适合的团队场景分析 3 实际验证的安全检查与关键限制 先说结论 MCP Toolbox 很适合小团队研究“让 AI
- 日榜
- 周榜
- 月榜
热点快看
