机器学习Agent真正瓶颈在于判断实验价值而非写代码

机器学习Agent的新突破：执行前预测，效率提升6倍

当前人工智能不仅能进行对话，还能自主完成机器学习实验流程——从编写训练代码、执行实验、分析结果到迭代优化。但一个关键瓶颈制约了这类Agent的能力：计算执行成本过于高昂。为此，浙江大学与蚂蚁集团联合实验室提出了一种预执行预测技术，使大语言模型无需实际运行代码，即可预判哪种机器学习方案效果更佳，预测准确率高达61.5%，同时将Agent的搜索效率提升了6倍。该研究成果已被ACL 2026会议接收为SAC Highlight论文。

一、真正被卡住的，不是“写”，而是“判断”

当前主流机器学习Agent的工作流程为“生成方案→执行→反馈→改进”，其中“执行”环节代价高昂。一个完整的机器学习实验涉及数据预处理、模型训练与验证评估，在MLE-Bench等基准测试中，单次执行可能耗费数小时。Agent虽能迅速生成大量候选方案，但受限于执行预算，只能验证其中极少部分——探索空间被物理执行时间严重制约。

图1：从执行到推理。传统ML Agent依赖数小时的物理执行获取反馈，本研究则利用LLM推理将判断环节提前至执行之前。

人类机器学习专家在开始实验前常常能筛选掉不合适的方案：例如面对小尺寸灰度医学图像，不会盲目使用需要大幅缩放的巨大ViT模型；面对严重类别不平衡的数据，不会忽略采样和损失函数设计。这种“预执行判断”本质上是将执行经验内化。该论文致力于将这种能力赋予大语言模型。

二、从一个问题，到一个任务

论文形式化提出数据中心的方案偏好任务。给定一个机器学习任务，模型将接收：任务描述、经过验证的数据分析报告，以及两个候选方案的代码。模型需要输出哪个方案更有可能胜出，并给出置信度评分。

值得注意的是，该任务并非判断代码的“复杂程度”。代码更长、使用了更先进的模型、流水线更华丽，未必能在当前数据上取得更好表现。真正需要判断的是算法设计与数据特征是否匹配——数据是否存在类别不平衡？图像分辨率是否足够？文本长度如何？训练集与测试集的分布是否稳定？因此，模型必须“理解数据”，而非仅仅审视代码。

图3：整体框架。涵盖任务定义、轨迹收集、数据筛选、验证数据报告增强，以及FOREAGENT的预测-验证应用。

三、让模型先读懂数据

论文发现，如果仅向LLM提供候选代码，模型容易退化为浅层判断——倾向于选择更长、更“高级”的方案。然而，机器学习方案的效果高度依赖于数据，脱离数据背景的代码判断价值有限。为此，论文引入了验证数据分析报告，通过三个步骤生成：

• 分析提取：让LLM编写数据分析代码，提取数据规模、分布、缺失值、图像尺寸、文本长度等统计特征。
• 验证确认：执行分析代码，由专家审查日志，确保统计结果可靠。
• 语义化转述：将原始统计数字转化为结构化、语义化的数据分析报告。

关键之处在于：原始数据对LLM而言往往是高熵符号，而语义化报告能将数字转化为接近人类建模经验的描述——数据呈现何种模式、为何重要、如何影响模型设计。模型不再是“猜测分数”，而是构建一条从数据特征到方案适配性的因果链条：数据特征 → 建模风险/优势 → 方案适配性 → 预测哪个方案更可能胜出。

四、18438对真实方案，验证LLM的“未跑先知”能力

研究者构建了一个大规模偏好语料库。数据来源于两个真实ML Agent——AIDE和AutoMind在MLE-Bench上执行任务产生的完整轨迹，覆盖计算机视觉、自然语言处理、数据科学三大领域共26个任务。经过去重、分类标注和专家采样，最终获得895个高质量实例和18438个方案对比对。

表1：偏好语料库统计。26个任务涵盖CV、NLP、Data Science三大领域，共计895个高质量实例、18438个方案对比对。

这批数据的特点在于：并非合成的玩具代码，而是真实Agent在探索过程中产生的完整工作流，包含大量“逻辑不完美但可执行”、“看似复杂但未必匹配数据”的中间状态方案。判断优劣必须理解数据、代码与评估指标之间的关联。

五、实验结果：LLM具备显著预测能力

主实验给出了明确肯定的结论：LLM确实具备显著高于随机基准和启发式基线的预执行预测能力。

表2：主实验结果。DeepSeek-V3.2（思考模式）平均准确率61.5%，GPT-5.1达到58.8%，均显著高于随机基线（50.0%）和复杂度启发式基线（50.8%）。

复杂度启发式仅50.8%，表明“复杂方案更优”的偏见几乎不具备预测能力。模型十几个百分点的提升来源于从静态输入中提取的与执行结果相关的信号。

预测能力来源拆解

• 数据表示影响显著：仅提供代码时模型已超越随机，加入数据上下文后进一步提升，而将原始统计转化为语义化验证数据报告后效果最佳。对照实验表明：代码搭配无关数据上下文时准确率几乎无提升——说明预测成功依赖于信息与代码之间的真实语义对齐。
• 推理模式至关重要：思考/思维链模式整体优于直接回答。此类任务需要模型显式展开推理：先理解数据，再分析代码，最后比较是否匹配。
• 预测能力并非随参数规模线性增长：在Qwen系列从4B到1T的测试中，30B之后性能进入平台期，1T相比30B几乎无增益。这表明预执行预测依赖于数据语义理解、代码分析和任务归因能力，而非单纯“规模越大越好”。
• 置信度校准良好：模型自报置信度越高，预测准确率整体越高。这对实际应用至关重要——预测模型可在高置信时过滤低价值候选，低置信时交由实际执行。

图4：世界模型能力分析。从数据表示、领域敏感性、规模法则、推理模式、置信度校准到复杂度区分能力，六个维度剖析预测能力的来源与边界。

同时，当任务从两两比较扩展到全局排序（列表排序）时，Accuracy@1从61.3%降至31.1%——模型目前仅擅长成对比较，缺乏全局判别能力。论文还揭示：即使真实执行验证，验证指标对测试性能的预测准确率也仅为72.2%（存在验证-测试差距）。这意味着“执行代码”本身并非完美信号，而隐式预测通过几秒推理提供了与数小时执行互补的语义判断维度。

六、FOREAGENT：把“想”变成执行前的筛选器

基于上述发现，论文提出FOREAGENT框架。传统Agent采用“先执行再学习”模式：生成方案、执行、根据结果学习下一步。FOREAGENT改为先预测后验证：并行生成大量候选方案 → 使用隐式世界模型预测优劣 → 根据置信度阈值过滤 → 仅执行排名靠前的Top-k个方案进行验证。LLM推理成为执行前的筛选器。

图4：FOREAGENT性能。在5个AI4Science任务上，FOREAGENT实现了6倍加速、3.2倍更多节点探索，胜率平均提升6%。

在MLE-Bench的5个AI4Science任务（涵盖生物学、物理学、地球科学、生态学、医学）上，FOREAGENT实现了：

• 平均6倍加速
• 平均3.2倍更多节点探索
• 胜率提升+6%

具体配置：每轮并行生成m=10个候选方案，使用置信度阈值c=0.7进行筛选，最终仅执行Top-k（主实验中k=1）。以更少的物理执行，探索更大的方案空间。

七、意义与边界

这项工作将ML Agent的反馈机制从“完全依赖外部执行”推进到“能够利用内部预测进行预筛选”。对于自动科研、AutoML、AI4Science等高成本任务，这种能力至关重要：可以排除大量低价值候选方案，将有限的计算预算集中于更有希望的方向；同时，执行轨迹还可用于训练奖励模型，加速强化学习式的Agent优化。

然而，61.5%的准确率也表明距离理想目标仍有差距。论文坦诚讨论了局限性：数据集虽涵盖26个任务、18438个方案对比，但分布并不完全均衡（分类和回归等主流范式占比较高，音频分类、表格评分等长尾任务样本较少）；CV和NLP的验证数据报告主要依赖元数据和统计分析，未引入更深层的多模态分析；FOREAGENT采用了相对保守的“预测-验证”实现，未充分探索更复杂的推理时搜索策略——论文给出的结果更像是该方向的下界，而非终点。

值得强调的启示：72.2%的验证-测试差距表明“执行一次代码”并非绝对标准。验证集与测试集分布存在差异，预执行预测并非“跑不起代码的妥协方案”，它与执行代码走的是不同路径——执行代码关注“这批数据上跑多少分”，依赖经验；LLM预测关注“数据特征与代码逻辑是否匹配”，依赖理解。两者各有盲区，恰好互补。

常见问题

Q：为什么LLM能预测从未运行过的机器学习方案好坏？

A：LLM通过解析代码和数据分析报告，构建了从数据特征（如类别不平衡、图像尺寸、文本长度等）到方案设计（模型选择、预处理步骤、损失函数等）的语义匹配链条。这相当于将人类专家的内化经验外显化。

Q：执行前预测能否完全替代实际运行？

A：不能。61.5%的准确率表明预测仍存在不少错误。其价值在于过滤明显不合适的方案，使实际执行聚焦于高潜力候选，从而提升效率。最佳实践是互补使用：高置信度预测用于筛选，低置信度时交由实际执行。

论文信息

论文标题：Can We Predict Before Executing Machine Learning Agents？

会议：ACL 2026 SAC Highlight

作者：Jingsheng Zheng, Jintian Zhang, Yujie Luo, Yuren Mao, Yunjun Gao, Lun Du, Huajun Chen, Ningyu Zhang

机构：Zhejiang University, Ant Group, Zhejiang University - Ant Group Joint Laboratory of Knowledge Graph

论文地址：https://huggingface.co/papers/2601.05930

代码与数据：https://github.com/zjunlp/predict-before-execute

数据：https://huggingface.co/datasets/zjunlp/PredictBeforeExecute

未来的ML Agent，不仅应更擅长生成代码，更应具备在执行前判断的能力——哪些实验，值得投入资源。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：机器学习Agent真正瓶颈在于判断实验价值而非写代码要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题