上海AI实验室实现突破 机器可自动调制最优训练数据

近年来，大语言模型的性能表现，在很大程度上取决于训练数据的质量与配置策略。为AI模型准备训练数据，如同为一道精致菜品调制配方——需要经验丰富的“主厨”精心挑选食材、决定处理工序、调整各类配比。一项由上海人工智能实验室与复旦大学合作开展、并于2026年2月发表的研究，提出了一项名为“DataChef”的创新框架，该系统能够自动生成最优的数据处理配方。这项研究为解决AI训练数据自动化配置这一核心挑战，提供了突破性的思路与方案。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈

传统的AI训练数据准备流程，确实像一位技艺娴熟的厨师在厨房中作业。厨师需从众多原料中甄选最适宜的食材，决定清洗、切割、调味的顺序，并精准把握各类食材的搭配比例。同样，AI研发人员在准备训练数据时，也需要从海量原始数据源中筛选有效信息，进行数据清洗、格式转换、去重处理等多个环节，最终将这些数据按特定比例混合，形成适配具体AI任务的训练集。

然而，这一过程长期高度依赖人工经验与反复试错。正如缺乏经验的新手厨师难以烹制出美味菜肴，专业知识不足的研究人员往往需要耗费大量时间与计算资源来寻找合适的数据配方。更为棘手的是，随着AI模型规模与数据量的持续增长，手动配置数据变得日益困难且成本高昂。

DataChef：培养一位AI“数据主厨”

DataChef的核心突破，在于实现了数据配方生成的完全自动化。研究团队将这一过程比喻为培养一位AI“数据主厨”，使其能够依据不同的“菜品需求”（具体AI任务）自动生成相应的“烹饪配方”（数据处理流水线）。这位AI主厨不仅需要挑选合适的“食材”（原始数据），还需设计完整的“烹饪流程”（数据处理步骤），并生成可执行的“菜谱代码”（Python脚本）。

为训练这位AI数据主厨，研究团队构建了一个涵盖31种不同“菜系”的综合训练场。这些菜系覆盖了数学推理、代码生成、医学问答、金融分析等19个不同领域的AI任务。每个任务均配备了8至15个不同的原始数据源，总计涉及257个数据集。这如同一所全面的烹饪学院，为AI主厨提供了丰富多元的实践场景。

关键挑战：如何高效“品鉴”数据配方？

研究团队面临的核心挑战，是如何快速评估所生成数据配方的质量。传统方法需使用生成的数据实际训练一个AI模型，并在目标任务上测试其性能，此过程如同每次都要完整烹制一道菜并品尝其味道。这种做法不仅耗时，且计算成本极高。

为解决此问题，团队开发了一套“数据品鉴师”系统，能够直接评估数据样本的质量，而无需进行完整的模型训练。该品鉴师会将数据样本划分为五个等级：无效样本、格式错误、内容错误、任务不匹配以及高质量样本。

两阶段训练：从基础技能到实战优化

DataChef的训练采用了两阶段方法。第一阶段是“基础烹饪技能培训”，研究团队使用高质量示例数据配方对AI进行监督学习，使其掌握基本的数据处理技能。第二阶段是“实战经验积累”，通过强化学习让AI在实际操作中持续改进。在此过程中，数据品鉴师会对AI生成的每个配方进行评分，AI依据这些反馈逐步优化其配方生成能力。

性能表现：媲美顶尖商业模型

经过训练的DataChef-32B模型在六项测试任务中表现卓越。在数学领域，它为Qwen3-1.7B基础模型生成的训练数据，使该模型在AIME‘25数学竞赛中获得66.7分，甚至超越了使用专家人工配置数据的同款模型。在气候科学领域，DataChef生成的配方帮助模型在ClimaQA任务上取得了46.3分。更令人瞩目的是，DataChef的表现与谷歌Gemini-3-Pro等顶尖商业模型处于同一水平。

为验证数据品鉴师的可靠性，研究团队将其与现有多种数据评估方法进行了详细对比。他们发现，传统评估指标往往仅在特定领域表现良好，而DataChef的数据品鉴师在各个领域均保持了较强的预测准确性。这正如一位经验丰富的美食评论家，不仅能精准评价川菜，也能客观品鉴粤菜与法餐。

深度洞察：AI的“配方”有何偏好？

研究还揭示了一些颇具启发的发现。在分析DataChef生成的配方时，团队发现AI倾向于选择高价值的数据源，并自动设计复杂的数据处理流程。例如，在处理金融领域任务时，DataChef会自动识别并优先使用那些在下游任务中表现最优的数据集，同时过滤低质量数据。这种自动筛选能力，甚至超越了简单的数据合并策略。

DataChef的一项重要优势在于其端到端的自动化能力。与现有的半自动化工具不同，DataChef能够从原始任务描述开始，完全自主地生成包含自然语言计划与可执行代码的完整数据配方。这如同拥有一位能根据顾客口味偏好自动设计菜谱并完成烹制的智能主厨。

局限与展望

当然，这项研究也存在其局限性。DataChef目前主要依赖大语言模型作为数据品鉴师，该方法虽具良好通用性，但在某些特定垂直领域可能不如专门设计的评估工具精准。此外，受训练数据范围所限，DataChef在处理完全新颖的任务类型时可能需要额外的调整与优化。

尽管如此，这项研究对AI领域的影响是深远的。随着AI模型规模与复杂性的持续提升，自动化数据配方生成将成为推动AI发展的关键技术。DataChef不仅显著降低了高质量训练数据准备的门槛，也为AI系统的自我进化开辟了新的路径。未来，我们有望看到AI系统能够根据新的任务需求自动生成优化的训练数据，从而实现真正的自适应学习与进化。

归根结底，DataChef代表了AI自动化进程中的一个重要里程碑。它将数据科学家从繁重的手工数据配置工作中解放出来，使其能聚焦于更高层次的问题解决与创新探索。对普通用户而言，这意味着未来的AI应用将能更快速、更精准地适应各类新任务，为日常生活带来更智能、更贴心的服务体验。虽然目前该技术主要应用于研究领域，但可以预见，这种自动化数据配方技术最终将渗透至各行各业的AI应用中，推动人工智能向更智能、更自主的方向持续演进。

Q&A

Q1：DataChef是什么？

A：DataChef是由上海AI实验室研发的AI系统，能够自动为大语言模型生成最优的训练数据配方。它如同一位智能主厨，能根据不同的AI任务需求，自动筛选合适的数据源，设计数据处理流水线，并生成可执行代码来准备高质量的训练数据集。

Q2：DataChef相比人工配置数据有哪些优势？

A：DataChef最大的优势在于其完全自动化与高效率。传统人工配置依赖专业经验与大量试错，而DataChef可在短时间内生成高质量配方。实验表明，其生成的数据配方效果甚至能超越专家手工配置的结果，同时大幅降低了时间成本、经济成本与技术门槛。

Q3：普通用户能否使用DataChef技术？

A：目前DataChef主要面向AI研究人员与开发者。虽然普通用户暂无法直接使用，但这项技术的发展将使未来的AI应用能够更快适应新任务，为用户提供更智能的服务。随着技术不断成熟，未来可能会出现更易用的工具或平台版本。