AI编程助手生成的测试代码是否可靠新加坡管理大学研究揭秘

这项由新加坡管理大学、上海交通大学以及字节跳动联合开展的研究发表于2026年2月，论文编号为arXiv:2602.07900v1。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈

如今，AI编程助手已经成了开发者离不开的伙伴，就像厨师身边的智能帮手。它们不仅能修改代码，还能在解决问题的过程中自动生成测试代码。但一个核心问题随之浮现：这些由AI自己写出来的测试代码，究竟是真正有用，还是仅仅在模仿人类开发者的一种“仪式感”？

研究团队观察到一个有趣的现象：在GitHub问题解决的排行榜上，那些频繁编写测试代码的顶级AI助手表现固然出色，但几乎从不编写新测试的GPT-5.2模型，其问题解决率却也相当可观。这不禁让人联想到烹饪比赛：有些厨师习惯边做边尝，反复调整；而另一些则几乎不尝，却能一气呵成做出美味。这种对比促使研究团队深入探究：AI助手写测试，到底是为了解决问题，还是仅仅出于一种学来的“习惯”？

为了解开这个谜题，研究团队设计了一套全面的实验。他们像行为观察专家一样，仔细分析了六种先进AI模型在解决500个真实GitHub问题时的完整行为轨迹，重点观察它们是否写测试、何时写、以及这些测试究竟扮演了什么角色。更进一步，他们还通过调整提示词，分别鼓励某些模型多写测试，或阻止另一些模型写测试，以此来直接验证测试代码对最终结果的影响。

一、AI助手的测试编写习惯大揭秘

研究团队首先像观察不同物种的习性一样，审视了六款AI模型的测试编写行为。这些模型包括：claude-opus-4.5、gemini-3-pro-preview、gpt-5.2、kimi-k2-thinking、minimax-m2和deepseek-v3.2-reasoner。

结果发现，这些AI助手的测试编写习惯可谓天差地别。有些模型堪称“测试狂魔”，比如minimax-m2和kimi-k2-thinking，它们分别在98.6%和97.4%的任务中都会编写至少一个测试文件，其谨慎程度可见一斑。

与之形成鲜明对比的是gpt-5.2，它在500个任务中仅写了3次测试，概率低至0.6%，堪称“测试绝缘体”。但令人惊讶的是，这个几乎不写测试的模型，其问题解决率达到了71.8%，仅比热衷于测试的claude-opus-4.5（74.4%）低了2.6个百分点。这好比考试中，有些学生习惯反复检查，而另一些则直接交卷，最终成绩却可能不相上下。

更深入的发现是，即使在同一个模型内部，成功与失败的任务之间，测试编写的频率也相当接近。这意味着，写测试与能否成功解决问题之间，似乎缺乏明确的因果关系。

研究还注意到，当AI助手确实编写测试时，它们的时间安排也各有特色。多数模型倾向于在任务后期编写测试，就像学生在考试最后才检查答案。而在那些最终失败的任务中，测试编写行为往往分散在更长的时间段内，且测试运行更为频繁，这有点像焦虑的学生反复验算同一道题。

二、测试代码里到底藏着什么秘密

当研究团队深入分析这些测试代码的内容时，一个碘伏常识的现象浮出水面：这些测试代码的主要作用并非严格的验证，而更像是一个“观察窗口”。

在传统软件测试中，我们期望看到大量的断言语句，它们像法官的判决——非对即错。但AI助手编写的测试却大不相同，它们更像好奇的观察者，主要通过打印语句来“窥探”程序运行时的内部状态。

具体数据显示，在所有模型中，打印语句（用于显示变量值或结果）的数量都远远超过断言语句（用于验证正确性）。以claude-opus-4.5为例，平均每个任务会产生25个打印语句，但只有5.16个断言语句。这种比例关系在所有模型中相当一致，表明AI助手更倾向于通过“看一看”来理解程序行为，而非通过“验一验”来确保正确性。

进一步分析断言语句的类型，另一个有趣模式出现了。AI助手编写的断言主要集中在两类：一是检查局部属性（如确认某个对象存在），二是检查精确值（如计算结果是否等于某个具体数字）。相比之下，那些检查范围或关系的复杂断言则非常少见。这就像学生在自查时，更关注“答案是不是123”，而很少去验证“答案是否在100到200之间”。

这种模式揭示了AI助手测试策略的本质：它们更像是在进行“探索性调试”，而非“系统性验证”。在解决未知问题的过程中，了解程序的实际行为往往比验证预期结果更重要，这就像探险家在未知地带，观察和记录远比急于下结论来得实际。

三、改变测试习惯会带来什么结果

为了直接验证测试代码对问题解决效果的影响，研究团队设计了一个巧妙的对照实验。他们通过修改提示词，人为地干预AI助手的测试编写行为。

实验分为两个方向：对于原本很少写测试的模型（如gpt-5.2），在提示词中鼓励其编写测试；对于原本热衷写测试的模型（如kimi-k2-thinking），则建议其避免编写新测试，转而依靠推理和代码审查。

实验结果出人意料。当研究团队成功让gpt-5.2在64.4%的任务中开始编写测试时，它的问题解决成功率几乎纹丝不动，仍保持在71.8%左右。这就好比让一个不做笔记的学生开始详细记录，但考试成绩并未因此提升。

反向实验的结果同样有趣。当阻止“测试狂魔”编写测试时，虽然成功让kimi-k2-thinking在68.4%的任务中停止了测试编写，但其成功率仅从63.4%微降至60.8%；deepseek-v3.2-reasoner的情况类似，成功率从60.0%降至58.2%。

换句话说，即使大幅改变AI助手的测试编写行为，对最终的问题解决效果影响也相当有限。在所有实验中，平均有83.2%的任务在改变测试策略后，其成功或失败的结果保持不变。

四、测试代码的真正代价是什么

虽然测试代码对问题解决效果的影响有限，但它们对资源消耗的影响却不容小觑。

当鼓励gpt-5.2编写更多测试时，问题解决率虽未提升，资源消耗却显著增加：API调用次数增加5.5%，输出token数量增加19.8%，输入token数量增加9.0%。这就像让一个简洁工作的人开始写详细日志，工作质量未必提升，但投入的时间和精力却大幅增加。

相反，当阻止那些热衷测试的模型编写测试时，资源节省的效果非常明显。kimi-k2-thinking的输入token使用量减少了49.0%，API调用次数减少了35.4%；deepseek-v3.2-reasoner的输入token使用量减少了32.9%，API调用次数减少了24.5%。

关键在于，这种大幅的资源节省只伴随着很小的成功率下降。这意味着在许多情况下，AI助手花费在测试编写上的大量资源，可能并未带来相应的回报。在资源有限的实际场景中，过度的测试编写可能会消耗宝贵的计算额度，而这些额度本可用于更核心的问题分析和方案开发。

五、这些发现意味着什么

这项研究揭示了一个反直觉的现象：在AI助手的世界里，测试代码更像是一种“工作风格”，而非绝对的“效率工具”。就像有人习惯深思熟虑，有人偏好快速决断，两种风格都可能达成目标，关键在于是否契合具体场景。

这种现象的根源可能在于，AI助手编写的测试代码与传统软件开发中的测试存在本质差异。传统测试基于明确的规格和预期，就像按标准食谱检验菜品；而AI助手在解决GitHub问题时，往往面对的是模糊的规格和不明确的预期，此时的测试更像是一种探索性的“试探”。

从实用角度看，这一发现为优化AI助手的使用提供了重要参考。对于资源受限或追求效率的场景，适度减少测试编写可能是一个明智的选择。同时，它也提醒我们，AI助手的行为模式反映了其训练数据中的人类习惯，而这些习惯在新场景中未必总是最优解。

研究还为未来AI助手的开发指明了方向：与其简单模仿人类的所有习惯，不如让AI学会根据具体情况动态调整策略，包括何时写测试、写什么类型的测试，以及在探索与验证之间找到最佳平衡点。

说到底，这项研究告诉我们，在AI助手日益普及的今天，我们需要更理性地看待它们的行为模式。并非所有看似“专业”的行为都能带来更好的结果，有时简洁高效比复杂全面更有价值。对于开发者而言，理解这一点，或许比盲目追求所谓的“最佳实践”更为重要。

Q&A

Q1：为什么AI编程助手编写的测试代码对解决问题效果有限？

研究发现，AI助手编写的测试代码主要用于观察程序运行状态，而非严格验证正确性。这些测试中打印语句远多于断言语句，更接近探索性调试。而且，即使大幅改变其测试编写习惯，问题解决成功率的变化也很小，平均83.2%的任务结果保持不变。

Q2：不同AI模型在编写测试代码方面有什么差异？

差异非常显著。例如，minimax-m2和kimi-k2-thinking在超过97%的任务中都会编写测试，堪称“测试狂魔”；而gpt-5.2则几乎不写测试，500个任务中仅尝试3次。有趣的是，两者的解决问题能力却相差不大。

Q3：编写测试代码会带来什么额外成本？

测试编写会显著增加资源消耗。例如，鼓励gpt-5.2写测试后，其API调用和token使用量均有明显上升。反之，阻止高频测试模型写测试则能大幅节省资源（如输入token减少近一半），而成功率仅轻微下降。