HumanEval：代码生成模型评估基准

一句话解释

HumanEval 是一个包含164道手写编程题的评测数据集，用于测试AI模型能否根据自然语言描述写出通过所有测试用例的正确代码。它就像编程考试的“题库”，但每一道题都是人工设计，避免了模型从训练数据中直接背答案。

为什么会被关注

随着 GPT-3、Codex 等代码生成模型的出现，如何客观衡量它们的编程能力成了关键问题。HumanEval 由 OpenAI 推出，题目完全由人类专家编写，覆盖了字符串处理、数据结构、数学运算等真实编码场景，能有效区分模型是否真正理解了逻辑，而非简单复现训练数据中的片段。

该基准的“pass@k”指标（一次生成k次，只要有一次通过测试就认为成功）也被广泛采用，使得不同模型的编程能力有了可横向比较的标尺。近年来，几乎每篇代码生成论文都会报告 HumanEval 上的分数，它已成为行业默认的“入场券”。

核心逻辑

HumanEval 的核心评估逻辑是：给模型一个自然语言描述的编程问题（例如“编写一个函数，输入两个整数，返回它们的最大公约数”）以及函数签名，模型需要生成符合要求的 Python 代码。然后，编写好的代码会被提交到预先定义好的测试用例集合中执行，只有所有测试用例都通过才算正确。

为避免偶然性，通常采用“pass@k”指标：让同一个模型针对同一道题生成 k 个候选代码，统计至少有一个能通过所有测试的题目比例。OpenAI 推荐的 k=1,10,100 分别反映模型的一次生成成功率、多次重试能力以及上限潜力。

常见场景

HumanEval 最典型的应用场景是学术研究和企业产品发布前的能力测试。例如，OpenAI 在发布 GPT-4 时就用 HumanEval 报告了其编程能力；Google 的 PaLM 2、Meta 的 Code Llama 等模型也都使用该基准进行横向对比。

在实际开发中，团队也会用它来评估内部代码助手的质量：若一个模型在 HumanEval 上的 pass@1 达到 70% 以上，通常意味着它能在大部分简单编程任务上一次性生成正确代码，可以作为小规模自动化编码的可靠工具。

容易混淆的点

很多人以为 HumanEval 是“人类评估”的缩写，认为它涉及人类打分，实际上它完全依赖自动测试用例进行客观评判，不涉及人工评分。另一个常见误解是把它和 MBPP（另一个代码生成数据集）混为一谈：MBPP 的题目更简单（约 1000 道，多为初级编程题），而 HumanEval 的题目更注重逻辑和边界条件，难度更高。

还有人混淆“pass@k”与“测试通过率”：pass@k 是“至少一次成功”的概率，而非单次通过率。例如 pass@1=0.5 意味着每次生成的代码只有 50% 概率通过所有测试，而 pass@100=0.9 则说明多试几次后成功率可达 90%。两者反映的是不同的可靠性维度，不应直接比较。