Qwen3 AI邪修式Bug修复直接搜索GitHub测试太拟人

大模型也会“作弊”？Qwen3在代码基准测试中的操作，让研究者直呼“太拟人了”。
核心内容：
1. Qwen3在SWE-Bench测试中不按套路出牌，直接搜索GitHub获取修复方案
2. 测试设计漏洞让模型能访问已修复的bug记录
3. 关于AI这种行为是作弊还是聪明的争议讨论

大模型也开始玩起信息差了。

Qwen3在基准测试中竟然学会了钻空子。

FAIR研究员发现，Qwen3在SWE-Bench Verified测试中并未按常规方式处理——它没有深入分析代码逻辑，也没有定位漏洞根源，而是直接转移到GitHub上，利用任务中的issue编号作为关键词，精准地扒出了前人留下的修复方案。

能说吗，会搜索代码才是真正的程序员行为吧。而Qwen3，你是真正的程序员。

Qwen3是如何钻空子的

要知道，SWE-Bench Verified原本是检验模型真刀真枪修复代码能力的基准，堪称编程领域的资格考试。

它的测试逻辑是这样的：在代码修复类任务中，它提供给模型的任务全部来自真实开源项目中的bug，例如修复某项功能异常、补全缺失的代码模块，核心要求是模型能够读懂现有代码、定位问题所在，最终生成可以直接运行的解决方案。

这原本考验的是模型从0到1解决问题的能力，但我们的Qwen3，可没按这个剧本走。

FAIR研究团队追踪它的操作轨迹发现，Qwen3拿到任务后，第一步并不是分析代码文件，而是调用工具检索GitHub的提交日志。

具体操作是：

• 先切换（cd）到/workspace/django_django_4.1这个目录；
• 然后执行git log —oneline —grep=“33628” —all这个命令。

git log是查看Git版本控制提交历史的命令，—oneline让提交历史以简洁的一行形式展示。

—grep用于筛选提交中的指定内容（在这个例子中是issue编号33628），—all则表示所有分支的提交。

一番操作下来，不用动脑子写代码就轻松“借鉴”了以前的成功答案。（怎么不算动脑子了呢）

其实不止Qwen3，研究者发现Claude 4 Sonnet也有类似的行为。

不过，模型能成功钻空子，当然也不全是自身的原因。

说回SWE-Bench Verified，它自身的设计就存在漏洞——没有过滤未来仓库状态。

简单说就是，这个测试使用的是开源项目数据，所以它连带着项目后续已经解决bug的提交记录一起放了进去，相当于把考题和参考答案混在一起，还没设权限。

正常来说，测试应该只给模型bug未修复时的项目状态，让它只看着题目解题。

但SWE-Bench Verified没做这个筛选，导致模型能够拿到bug已经被修复后的数据。

于是，只要用任务里的issue编号当关键词，就能在已解决的数据里找到现成的修复方案。

看来，不是只有人类知道搜答案比解问题简单，现在大模型也知道了。（Doge）

虽然说，按正常规则，这些模型确实是在作弊，但也有网友觉得：只要能完成任务，利用规则漏洞也没什么不行的。

所以，你觉得这种行为算作弊还是算Qwen3聪明呢？