GPT-5编程实测:63.1%未交卷却仍超Claude 2倍
SWE-BENCH PRO软件工程基准测试引发新思考
最新发布的SWE-BENCH PRO测试结果显示,主流AI模型的表现在表面上不尽如人意:
GPT-5、Claude Opus 4.1和Gemini 2.5分别以23.3%、22.7%和13.5%的解题率位列前三。

但更深层的数据分析揭示了有趣的现象。前OpenAI研究员Neil Chowdhury指出,仅就已回答题目而言,GPT-5的正确率高达63%,大幅领先Claude Opus 4.1的31%。

这一反差表明GPT-5在其擅长的领域依然保持强劲表现,与SWE-Bench-Verified基准中74.9%的成绩相差不大。
SWE-BENCH PRO测试特点
相较于SWE-Bench-Verified相对宽松的测试环境(平均70%的正确率),SWE-BENCH PRO的评估体系更为严格:
- 采用全新测试题目,避免训练数据污染
- 剔除简单的一两行代码修改任务
- 聚焦需要跨文件、数百行代码修改的复杂场景

多样化的代码库构成
测试集包含1865个来自不同领域的代码库:
- 公共集:731个问题,来自11个开源代码库
- 商业集:276个问题,来自初创公司代码
- 保留集:858个问题,用于验证模型过拟合
严谨的评估流程
为保证测试有效性,研究人员采用了以下方法:
- 提供详尽的问题描述和上下文
- 明确列出各项需求及对应函数
- 在专业容器环境中执行测试
- 通过fail2pass和pass2pass双重验证
测试结果深度分析
整体表现来看,主流AI模型的解决率显著低于以往测试。

关键影响因素
- 编程语言难度:Go和Python表现较好,JavaScript和TypeScript波动较大
- 代码库特性:不同代码库的解决率差异可达40%以上
- 模型规模:前沿大模型表现更稳定,小型模型容易得零分

模型差异化表现
- GPT-5:已回答题目正确率高,但63.1%的未作答率拉低总分
- Claude Opus 4.1:语义理解能力需提升,35.9%的错误解答率
- Gemini 2.5:各项能力均衡,但无明显突出优势

相关参考:
- https://x.com/vbingliu
- https://scale.com/leaderboard/swe_bench_pro_public
- https://x.com/ChowdhuryNeil/status/1969817448229826798
- https://scale.com/research/swe_bench_pro
游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。
同类文章
DeepSeek宣布永久降价 梁文锋大幅让利远超市场预期
DeepSeek宣布其Pro模型API优惠将转为永久降价,调用成本大幅降低至原价的四分之一。同时,公司正进行高达500亿元的首轮融资,创始人梁文锋个人计划出资200亿元以强化控制权。降价与巨额融资相结合,旨在降低行业门槛、构建生态,并支撑其长期开源与AGI战略,展现了公司的长期主义视野。
国产600公斤推力涡扇发动机首飞成功 中国心实现自研突破
5月23日,搭载国产F406涡扇发动机的气象无人机首飞成功。该发动机推力600公斤级,由我国自主研制,拥有完整知识产权,实现了中小推力高端涡扇发动机的自主可控。其具备高空高速稳定运行能力,填补了国内相关技术空白,将为无人机及低空经济发展提供可靠动力支撑。
小米米家空调巨省电Pro大1.5匹价格降至1868元
2026年3月6日,备受期待的小米米家巨省电 Pro 空调 2026 款正式上市销售。作为新品,其大1 5匹型号的官方首发定价为2499元,性价比优势显著。 恰逢京东618年中购物节,这款新上市的空调迎来了绝佳的入手时机。消费者通过叠加平台提供的促销优惠与政府发放的节能补贴,最终到手价格可以做到更具
国产600公斤推力涡扇发动机成功完成首次飞行
5月23日,我国自主研制的600公斤推力级F406涡扇发动机成功完成首次飞行试验。发动机驱动气象无人机平稳飞行并安全返航,各项参数稳定。此次试飞标志着我国在中小推力高端涡扇发动机领域实现了自主可控与国产化突破,该发动机将为低空经济和无人体系提供关键动力支撑。
国产600公斤推力涡扇发动机首飞成功核心技术自主研制
5月23日,我国自主研制的600公斤推力级F406涡扇发动机成功完成首次飞行试验。该发动机以双发配置驱动一架先进气象无人机,全程工作平稳,安全返航。此次试飞标志着我国在中小推力高端涡扇发动机领域实现自主可控与国产化,将为低空经济与无人体系发展提供可靠动力。
- 日榜
- 周榜
- 月榜
1
2
3
4
5
6
7
8
9
10
相关攻略
2015-03-10 11:25
2015-03-10 11:05
2021-08-04 13:30
2015-03-10 11:22
2015-03-10 12:39
2022-05-16 18:57
2025-05-23 13:43
2025-05-23 14:01
热门教程
- 游戏攻略
- 安卓教程
- 苹果教程
- 电脑教程
热门话题

