上海AILab实现Harness自进化 不换模型效果提升104%

让AI自主优化自身的Agent Harness，这一方向近期获得了顶级Agent社区的高度关注。

上海人工智能实验室团队提出的Self-Harness，不仅被LangChain CEO兼联合创始人Harrison Chase转发，还得到了前OpenAI副总裁Lilian Weng的认可，并被收录至其关于自进化Agent的博客中。

Self-Harness的核心目标并非替换模型，而是调整Agent外层的Harness配置。

其实现路径非常直接：模型首先检查自身运行轨迹，从失败案例中提炼模式，随后提出有边界的Harness修改方案，最终通过回归测试决定是否采纳这些修改。

实验结果显示，在Terminal-Bench-2.0基准测试中，底层模型、工具环境与评测协议均保持不变，仅对Harness进行优化，三个模型后端均取得了held-out性能提升。其中，Qwen3.5-35B-A3B的总提升幅度达到104%，MiniMax M2.5和GLM-5分别提升了28%和24%。

论文与项目代码已公开，文末附有相关链接。

△LangChain CEO/联合创始人Harrison Chase转发Self-Harness相关内容

让Harness实现自我进化

Agent Harness可以理解为包裹在模型外部的一套运行装置，包含系统提示词、工具使用规则、验证器、运行时控制策略以及轻量级中间件。

在多轮工具调用任务中，Harness决定了Agent如何调用工具、何时停止、失败后如何恢复，以及如何验证输出产物。

过往，这些配置主要依赖工程师手动调优。工程师需要阅读大量执行轨迹，定位失败原因，修改提示词或工具规则，然后反复运行基准测试。

随着模型数量增多、任务复杂度增加，Harness越来越难以按照“一模型一套人工调参”的模式继续扩展。

△三种Harness优化范式：人工调整、利用强模型外部辅助，以及Self-Harness让模型基于自身轨迹进行改进

Self-Harness的工作原理

Self-Harness将流程压缩为三个步骤：先挖掘弱点，再提出修改方案，最后执行回归测试。

Weakness Mining：从失败轨迹中挖掘弱点

系统首先让当前的Harness驱动固定模型完成一批任务，记录完整的执行轨迹、工具调用记录以及评测结果。

失败样本不会被当作孤立案例处理。Self-Harness会结合验证器反馈、Agent行为与失败之间的因果关系，将可复现的失败机制聚合起来。

这样，“某个任务未通过”会转化为“这一类失败可能源于同一种Harness缺陷”。例如：缺少最终产物、重复执行无效命令、工具报错后未恢复，或是探索时间过长却迟迟未进入实现阶段。

Harness Proposal：提出有边界的修改方案

获得结构化的失败证据后，同一模型会切换为提案者角色，针对已挖掘的失败机制提出候选的Harness编辑方案。

这些编辑方案只能落在预先声明的可编辑表面上，不能推翻整个Agent控制架构。

每个提案都需说明：希望改变哪种行为、可能带来哪些回归风险，以及为何可能修复当前的失败模式。

Proposal Validation：通过回归测试做出决策

候选Harness会在同一评测协议下重新运行，并与当前Harness进行对比。

接受规则较为保守：held-in或held-out至少一个分项需有提升，且另一个分项不能出现退化，该Harness才会被纳入下一代。

这也是Self-Harness与普通“自动修改提示词”方法的本质区别。Self-Harness不允许模型凭感觉拍板，而是将每一次修改都纳入可记录、可复现、可回退的评测闭环中。

△Self-Harness自改进闭环，包含弱点挖掘、修改提案与回归验证三个环节

不更换模型，仅优化外层Harness也能取得提升

论文在Terminal-Bench-2.0上进行了系统性评测。

Terminal-Bench-2.0是一个多轮智能体基准测试，任务运行在容器化终端环境中，涵盖文件管理、命令执行、错误恢复、产物验证等真实工具使用能力。

在固定模型、工具集、任务环境与评测配置的前提下，Self-Harness仅对Harness进行修改。结果三个模型均出现了性能提升。

MiniMax M2.5总提升28%，Qwen3.5-35B-A3B总提升104%，GLM-5总提升24%。

这组结果的关键意义不在于又换了一个更强模型，而是证明了在同一个模型外部，Harness本身也可以通过搜索、验证和迭代进行优化。

△Terminal-Bench-2.0结果：三个模型后端在应用Self-Harness后均获得了held-out性能提升

更值得关注的是，每个候选修改都经过了held-in和held-out回归测试。

换句话说，Self-Harness并非通过堆砌更长的提示词来提升性能，而是在一次次验证门控后，仅保留那些真正带来收益且无明显回退的Harness编辑方案。

△Qwen3.5的Self-Harness进化路线：通过多轮验证门控逐步保留有效的编辑方案

不同模型暴露出差异化的弱点

Self-Harness的另一个观察点更贴近工程实践：不同模型会表现出不同类型的失败模式。

MiniMax M2.5：找到线索后迟迟不交付成果

在初始Harness下，MiniMax M2.5有时会持续探索数据集。即使已经找到关键元信息，也迟迟不创建评测所需的答案文件，最终因缺少产物或超时导致失败。

Self-Harness保留的修改方案会鼓励Agent更早识别必须输出的内容，先创建初始产物，并在工具调用时间过长时转向具体实现与验证。

Qwen3.5-35B-A3B：工具失败后容易陷入循环

Qwen3.5-35B-A3B的常见问题在于，工具失败后会进入重复编辑、重复覆盖或重复命令的循环，甚至在停止前删除评测所需的文件。

Self-Harness为其引入了依赖预检查、失败后产物恢复、避免完全相同命令重复执行，以及由工具错误触发的artifact-focused提醒机制。

△Qwen3.5保留的代码级Harness编辑方案，主要集中在依赖预检查、产物恢复和重试限制方面

GLM-5：更需要管理shell状态与执行节奏

GLM-5暴露的弱点更多集中在shell会话状态，以及从探索切换到实现的时机把控上。

改进后的Harness会提醒Agent在修改环境变量、安装工具或调整路径后，确认这些变化能够跨命令持续可用。当长时间探索仍未形成产物时，系统也会推动它转向实现与测试阶段。

这表明Self-Harness并非简单地为所有模型添加一段通用提示。它会根据每个模型在真实执行轨迹中暴露的弱点，生成并筛选出适合该模型的Harness修改方案。

引起关注的原因

Agent正逐渐演变为运行在工具环境中的系统，而不仅仅是回答单轮问题的模型。

在这种设定下，模型能力只是其中一部分。外层的Harness决定了它是否知道何时调用工具、如何从错误中恢复、是否保留正确的产物，以及在退出前是否进行了验证。

过去，Harness工程更像是一门经验活。Self-Harness提供的新思路是：让模型自身参与这套经验的挖掘与改写，但最终决策仍由评测而非自我评估来做出。

它并没有证明“Agent可以完全自主进化”，也没有绕过基准测试的范围。论文中的结果主要来自Terminal-Bench-2.0和固定的模型后端。

但作为自进化Agent的一个组件，它给出了较为清晰的边界：改什么、怎么改、如何验证、何时拒绝。

研究团队

该工作由上海人工智能实验室团队完成，论文题为《Self-Harness: Harnesses That Improve Themselves》。

根据现有文档，团队已公开论文与项目地址，读者可查阅具体的实验设置、Harness编辑方案以及代码实现。

论文：https://arxiv.org/abs/2606.09498项目地址：https://github.com/qzzqzzb/Self-Harness

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：上海AILab实现Harness自进化 不换模型效果提升104%要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题