MBPP：代码生成模型最常用的入门级 Python 编程测试集
MBPP 是评估 AI 代码生成能力的经典数据集之一，包含约 974 道 Python 编程任务，覆盖字符串操作、数学计算、列表处理等基础场景。它和 HumanEval 并称为大模型编程能力的「标尺」。
一句话解释
MBPP（Mostly Basic Python Programming）是 Google 于 2021 年发布的一个代码生成基准数据集，包含 974 道 Python 编程题，每道题给出任务描述和测试用例，用来检测 AI 模型是否能根据自然语言描述写出正确的函数代码。
为什么会被关注
随着 GPT-3、Codex 等大模型能生成代码，业界需要统一、可复现的评测方法。MBPP 提供了大量人工验证过的、难度适中的题目，既能快速检验模型的基础编程能力，又避免被复杂算法题干扰，因此成为各大模型论文中必列的数据集之一。
核心逻辑
MBPP 的每一题都包含三部分：任务描述（自然语言）、函数签名和 3-5 个输入输出示例。评测时，模型根据描述生成函数，然后用给定的测试用例验证输出是否匹配。最终用「通过率」（pass@k）作为指标，K 代表允许多少次尝试。
常见场景
AI 研究者用它对比不同模型（如 CodeLlama、StarCoder）的编程能力；企业选型时也参考 MBPP 得分来判断代码助手是否靠谱；自主开发者可用 MBPP 题目手工测试 ChatGPT 或其他工具的正确率，快速了解其编码水平。
容易混淆的点
容易把 MBPP 与 HumanEval 混淆：HumanEval 题目更偏算法和逻辑，且题量只有 164 题；而 MBPP 侧重基础语法、库函数调用，题量更大。另一个常见误区是认为 MBPP 能完全代表代码生成能力，实际上它不包含多文件、架构设计或真实项目场景。
本文内容用于 AI 热词解释和概念整理，仅供学习和理解参考。若涉及表述偏差或内容修正，欢迎联系站点进行更新。
相关热词Codex是OpenAI基于GPT-3微调训练的大型语言模型，专门用于理解和生成编程代码。它能将自然语言指令转化为多种编程语言的代码，是AI辅助编程领域的里程碑式产品，极大地提升了开发者的效率。
HumanEval 是 OpenAI 发布的代码生成模型评测数据集，包含 164 个手工编写的 Python 编程问题，每个问题都配有函数签名、文档字符串和多个测试用例。它旨在衡量大语言模型（如 GPT-3.5/4、Codex）根据自然语言描述生成正确代码的能力，已成为业界评估编程类 AI 的标准化工具。与自动化的基准不同，HumanEval 的题目设计更贴近真实编码场景，能有效筛选出模型在逻辑、边界条件和算法上的优劣。