OpenAI炮轰AI评测标杆：731道题近三成缺陷，8个月通过率从23%飙到80%已失灵
OpenAI指出，SWE-BenchPro基准约30%测试用例存在评估缺陷，导致模型通过率8个月内从23%飙升至80%，无法真实反映编程能力。已撤回推荐，呼吁重构面向AI的工程化评测体系。
OpenAI炮轰AI编程评测标杆：731道题三成存缺陷，8个月通过率从23%飙至80%，基准测试已失效？
OpenAI近日直接公开质疑当前行业公认的编程能力“金标准”——SWE-Bench Pro。在731个公开测试用例中，他们发现约30%存在评估机制上的结构性硬伤。该基准测试由Scale AI主导构建，专门用于衡量大模型和AI智能体在真实软件开发场景中的工程化能力，因其高度还原企业级开发流程并配备严苛的防作弊设计，一直被视为AI软件工程领域最具权威性的评测体系。
OpenAI的结论非常直接：顶级模型在该基准上的任务通过率，仅用8个月就从23.3%猛增至80.3%。这一增长曲线过于陡峭，完全超出技术演进的正常节奏。言下之意，这种“突飞猛进”并非模型真实编程能力提升带来的质变，更像是评测体系本身出现了系统性偏差，已经无法客观反映模型的实际工程表现。
双线核查确认问题规模：近三成任务存在结构性缺陷
为验证这一判断，OpenAI显然做了充分准备，直接公布了交叉验证的两份报告。一边是自动化数据诊断，识别出200个失效任务，占全部731题的27.4%；另一边是资深工程师的人工复核，发现249个存在缺陷的任务，占比达34.1%。两条路径的结果高度吻合，最终综合推断：SWE-Bench Pro中大约30%的题目存在评估失准问题。
OpenAI还披露了一个极其典型的反例，足以说明问题有多离谱。某道题明确要求将文本转换为Markdown格式，并规定每行开头插入1个空格。然而，实际隐藏测试中，只有插入2个空格才算正确。这意味着模型严格遵循题干描述完成编码，但系统依然判定失败。注意，这并非空格数量的偶然波动，而是规则本身存在硬伤——明示规则与隐含标准完全不一致。这种设计漏洞不仅扭曲了能力评估结果，也成为通过率异常飙升的关键诱因。
终止推荐使用，倡议重构面向AI的工程化评测范式
此次审查的结论比许多人预想得更为严厉。OpenAI已正式撤回此前对该基准的推荐采用声明。他们强调，未来AI编程能力评测不能简单套用面向人类程序员的传统考核逻辑，必须由具备丰富工业界经验的软件工程师团队，专门为AI智能体的特性量身定制新型评测框架。
试想，一项被奉为行业“金标准”的基准测试，竟然可能在近三成的任务中失效，整个AI评测生态的可靠性与可持续性确实面临严峻挑战。推动评测重心从片面追求分数，转向真实工程价值回归，已经成为AI软件工程评估体系必须直面的核心命题。
你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：OpenAI炮轰AI评测标杆：731道题近三成缺陷，8个月通过率从23%飙到80%已失灵要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题
游乐网为非赢利性网站，所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系youleyoucom@outlook.com。
相关热点火龙果写作通过热点词库锁定高潜力关键词、智能伪原创进行语义级改写、插入结构化SEO元素及健康度扫描四个步骤，实现机器可读性与人工可读性同步达标，提升搜索引擎收录效率。
利用NovaAI分析文学作品隐喻时，需上传完整文本并选择“隐喻识别与结构解析”目标。按“落笔为骨→着墨为心→字纲织肉→心跳成活”阶序引导AI逐阶解析，验证隐喻边界，并导出含原文引句、AI解析及批注栏的Markdown文件。
LongCatAI通过LoZA注意力机制精准聚焦关键内容，DiNA多模态编码实现图文深度融合，GA智能体动态管理上下文信息，在读取过程中自动过滤冗余，将长文本视为动态知识流，持续优化信息密度，显著提升长文档处理效率与准确性。
近日，抖音处置涉魔改经典儿童动画违规内容2 34万条，封禁账号1300个。部分账号利用AI技术篡改经典动画，植入低俗暴力情节诱导未成年人互动。平台已下架内容并禁言账号，以维护清朗网络空间，保护未成年人健康成长。
- 日榜
- 周榜
- 月榜
热点快看