OpenAI炮轰AI评测：731题近三成缺陷，8个月通过率飙升已失灵
OpenAI指出SWE-BenchPro近三成测试用例存在评估缺陷，导致顶尖模型通过率8个月内从23%飙升至80%，远超技术演进节奏，反映评测体系存在系统性偏差，已终止推荐使用。该问题揭露了基准测试的可靠性危机，需引起业界警惕。
OpenAI近期公开质疑了业界公认的AI编程能力评测标准——SWE-Bench Pro，指出在731个公开测试用例中，约有30%存在评估机制方面的漏洞。这一基准测试由Scale AI主导构建，最初旨在衡量大语言模型及AI智能体在真实软件开发场景中的工程化能力。由于它高度还原了企业级开发流程，并在设计上严防作弊，因此一直被视作AI软件工程领域最具权威性的评测体系之一。
OpenAI在文章中特别强调了一个反常现象：顶尖模型在该基准测试上的任务通过率，竟在短短8个月内从23.3%激增至80.3%。这一增长曲线，坦白说，已远远超出技术演进应有的正常节奏。OpenAI判断，这种“突飞猛进”并非源于模型真实编程能力的质变，更可能暴露了评测体系本身存在系统性偏差，导致其已难以客观反映模型的实际工程表现。
双线核查确认问题规模，近三成任务存结构性缺陷
为了严谨验证这一判断，OpenAI同时启动了两项独立的审查工作。一方面，通过自动化数据诊断，识别出200个失效任务，占全部731题的27.4%；另一方面，组织资深工程师进行人工复核，发现249个存在缺陷的任务，占比达34.1%。这两条路径的结果高度吻合，最终综合推断，SWE-Bench Pro中大约30%的题目存在评估失准问题。具体表现为四类常见问题：测试条件过于严苛、指令提示信息不足、验证范围过度狭窄，以及提示内容本身具有误导性。
OpenAI还披露了一个典型反例。有一道题目明确要求，将文本转换为Markdown格式时，在每行开头插入1个空格。但实际隐藏的测试却判定，只有插入2个空格才算正确。这意味着，模型严格遵循题干描述完成编码，结果仍被系统判为失败。这种“明示规则与隐含标准不一致”的设计漏洞，不仅扭曲了能力评估结果，也成了通过率异常飙升的关键诱因。
终止推荐使用，倡议重构面向AI的工程化评测范式
基于这次深度审查的结论，OpenAI正式撤回了之前对该基准测试的推荐使用声明。OpenAI强调，未来AI编程能力的评测，不应再简单套用面向人类程序员的传统考核逻辑，而需由具备丰富工业界经验的软件工程师团队，专门为AI智能体的特性量身定制新型评测框架。当一项被奉为行业“金标准”的基准测试，竟然可能在近三成任务中失效时，整个AI评测生态的可靠性与可持续性，确实正面临严峻挑战。推动评测重心从片面追求分数转向真实工程价值回归，已成为AI软件工程评估体系必须直面的核心命题。
你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：OpenAI炮轰AI评测：731题近三成缺陷，8个月通过率飙升已失灵要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题
游乐网为非赢利性网站，所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系youleyoucom@outlook.com。
相关热点Coachify这个产品，说白了就是用AI教练来帮你实现个人目标——无论是健身、饮食，还是整体健康，都能找到对应的智能教练。它提供定制化的锻炼计划、动画视频演示、AI驱动的进度追踪，以及和AI教练直接聊天的功能。简单来说，就是让一个不会累、随时在线的“教练”陪你一起变好。 什么是Coachify？
Wordfence是WordPress常用安全插件，集防火墙、恶意软件扫描、实时监控与登录防护于一体，有效防御各类攻击。通过后台插件搜索安装激活即可使用。搭配宝塔面板的Nginx免费防火墙，可进一步增强网站防护效果。
ImpulseAI专注于营销文案生成与内容自动化，用户只需选择模板、输入上下文信息，即可快速生成引人入胜的广告语、社交媒体帖子和邮件等素材，显著提升团队效率与内容质量，助力营销活动高效落地。
WordPress网站若主题缺乏SEO功能，可安装专业插件优化。推荐两款国产SEO插件：SmartSEOTool简单易用，无需配置；SuperFastSEO代码精炼、功能全面，支持基础优化加速、图片压缩、缓存生成等。
- 日榜
- 周榜
- 月榜
热点快看