GPT-5编程测试引争议：自删23题并采用自定基准

最近关于GPT-5编程能力的讨论引发了不少争议。有开发者发现，OpenAI在测试GPT-5编程能力时使用的SWE-bench Verified基准测试存在猫腻——他们自行删减了23道测试题，仅使用477道题进行评估。

要知道，SWE-bench Verified作为评估AI编程能力的常用指标，原本包含500道测试题。而OpenAI这次的操作相当于人为制造了一个"子集的子集"。更令人惊讶的是，如果将被删除的23道题按零分计算，GPT-5的实际得分可能还不如Claude Opus 4.1，因为两者目前的差距仅有0.4%。

这已经不是OpenAI第一次这样操作了。早在GPT-4.1发布时，他们就以"测试题无法在基础设施上运行"为由，同样删减了23道题。讽刺的是，SWE-bench Verified这个基准本身就是OpenAI提出的，当时他们声称SWE-bench无法系统评估模型编程能力，所以特别提炼了这个子集。

更值得玩味的是，OpenAI在测试时使用了GPT-5的最大思维努力模式，却对比了Claude 4.1 Opus的基础输出模式。这种不对等的比较方式，使得测试结果更加缺乏说服力。

Anthropic方面显然已经注意到了这个问题。在Claude Opus 4.1的发布说明中，他们特别强调："在所有Claude 4模型中，我们报告的分数基于完整的500个问题。OpenAI模型的得分基于477道问题的子集进行报告。"

最讽刺的是，SWE-bench Verified这个基准测试本身就是OpenAI与SWE-bench作者合作开发的。当时他们组织了93位资深程序员，从1699个样本中严格筛选出500道测试题，并按照难度分级。如今OpenAI却自己打破了这个标准。

如果参考原始的SWE-bench榜单，Claude 4 Opus目前仍然保持领先地位。这也让人不禁怀疑：GPT-5的编程能力是否真如宣传中那么强大？

GPT-5发布已有一段时间，不知各位开发者在实际使用中是否也遇到过类似问题？欢迎在评论区分享你的使用体验。

参考链接：
[1]https://www.swebench.com/
[2]https://openai.com/index/introducing-gpt-5/
[3]https://www.anthropic.com/news/claude-opus-4-1

免责声明

游乐网为非赢利性网站，所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系youleyoucom@outlook.com。

最新文章