翁荔新博客自进化从Harness开始崔添翼转发附议

前OpenAI安全副总裁、Thinking Machines Lab联合创始人翁荔，近期再度更新个人博客。本次她聚焦于一个备受关注的话题：AI自进化。然而，她提出的实现路径，可能与多数人的预期有所不同。

她明确指出一个关键判断：自进化不一定从模型直接修改自身权重开始，而应优先从Harness层面切入。

这篇博客题为《Harness Engineering for Self-Improvement》。

这里所说的Harness，可通俗理解为模型外部的运行系统。它决定了模型如何调用工具、管理上下文、读写文件、拆分任务、调用子Agent、验证结果，以及从失败中复盘。DeepSeek研究员崔添翼也第一时间转发了此文，并特别强调：Harness方向的自进化和模型方向的自进化一样，都是极具潜力的研究路径。

他还指出，Skill本质上就是Harness自进化中较为初级的一种形态——从prompt层面实现自我优化。

博客原文信息密度极高，我们来逐步拆解分析。

自进化可能先发生在Harness层

翁荔这篇博客的核心概念是RSI（Recursive Self-Improvement，递归自我改进）。这一概念最早带有浓厚的AGI色彩，指的是一个智能系统能够改进产生自身智能的机制，从而生成更强大的后继系统。

但她将此问题拆解得更具工程化视角。在当今的人工智能系统中，自我改进未必仅意味着模型直接改写自身权重。它同样可以意味着模型改进训练流程、研究流程和部署系统，从而帮助下一代系统在真实任务中表现更优。而Harness，正是部署系统中最为关键的一环。

过去谈及Agent，常见表述是“LLM+记忆+工具+规划+行动”。但翁荔认为，Harness已不仅是早期Agent框架中的几个模块，它更接近于运行时与软件系统设计范畴。它决定了模型如何观察环境、如何行动、如何管理上下文、如何保存状态、如何评估结果，也决定了模型能否在一个长任务中持续迭代优化。

因此，她的判断是：近期更可行的自进化路径，可能并非模型直接改写自身内部结构，而是模型开始优化它获取答案的方式。

从Context Engineering到Self-Harness，优化层层递进

翁荔梳理了近期一系列相关研究，从中可以清晰看到一个趋势：优化对象正在从上下文、工作流，逐步深入到Harness本身。递进链条为：prompt → structured context → workflow → harness code → optimizer code。随着模型能力不断增强，可被优化的对象也变得更加抽象和通用。

第一层：Context Engineering

最基础的问题在于：Agent在执行长任务时，上下文内容越积越多，很快便会失控。翁荔在此提到两个代表性工作：ACE和MCE。

ACE（Agentic Context Engineering）将上下文视为一本持续更新的“操作手册”，而非一段不断增长的提示词。它依靠三个角色协同工作：Generator负责生成任务轨迹，Reflector从成功与失败的轨迹中提炼关键要点，Curator将这些要点整理为结构化条目，并增量更新到手册中。

MCE（Meta Context Engineering）则更进一步。它将“如何管理上下文”与“上下文里具体放什么”拆分为两层优化：外层进化管理上下文的技能，内层则利用该技能去优化具体任务的上下文。

翁荔认为，相比ACE仍需人工设计更新规则，MCE朝向“自我管理的记忆”又迈进了一步。

第二层：Workflow Design

这一层解决的是“模型应该如何执行任务”的问题。翁荔列举了几个案例：

AI Scientist构建了一条从提出想法、编写代码、运行实验、分析结果，到撰写论文、同行评审的完整科研流水线。ADAS更进一步，将“设计Agent工作流”本身视为一个可被搜索的优化问题，让一个元智能体不断提出新的工作流设计并接受评估。AFlow则将工作流表示为一张图，利用蒙特卡洛树搜索去探寻更优的图结构。

这条路径的递进逻辑在于：起初由人类将任务流程工程化，随后模型参与设计流程，再后来，流程结构本身也进入了搜索空间。换言之，优化对象不再局限于单个prompt，而是整个Agent如何组织行动。

第三层：Self-Improving Harness

到了这一层，模型不仅使用Harness完成任务，还开始分析Harness的不足之处，并提出修改建议。翁荔重点介绍了Self-Harness这类工作，其循环逻辑非常清晰。

第一步是Weakness Mining（弱点挖掘）。系统先收集Agent执行任务时留下的轨迹，包括工具调用、错误日志、失败结果、验证器反馈等，然后从中识别出反复出现的失败模式。例如，模型总是在某类任务中遗漏文件，总是在某种测试失败后重复尝试无效修复，或者总是在上下文变长后丢失关键约束。

第二步是Harness Proposal（Harness提案）。模型基于这些失败模式，提出对Harness的小范围修改。重点在于“小范围”和“可验证”。模型能看到的信息包括：当前Harness中哪些地方可修改、具体的失败模式、哪些“正确行为”必须保留，以及之前已经尝试过的修改记录。提案应尽量聚焦于那些能被小改动解决、且可复现的问题，同时不同提案之间要保持差异化。

第三步是Proposal Validation（提案验证）。候选修改不能直接合并，而需经过测试验证。只有确认它确实提升了表现，并且没有引入明显的回归问题，才会成为下一版Harness的一部分。

翁荔提到，这套流程在MiniMax M2.5、Qwen3.5、GLM-5等不同模型上运行Terminal-Bench-2时，确实学习出了针对各模型薄弱点、各不相同的Harness配置。不过她也直接指出了隐患：一旦允许程序自行修改系统层代码，抽象边界就有被突破的风险，权限控制和安全层必须保留在这个循环之外，reward hacking的老问题依然存在。

此外，翁荔还进一步提到了Evolutionary Search（进化搜索）。如果说Self-Harness更像是从失败中修补自身的工作系统，那么进化搜索则是将Harness直接变成一个可搜索的对象。其逻辑更接近自然选择：先生成多个候选Harness，让模型基于已有版本进行修改，再用benchmark或验证器评估表现，保留更优版本，淘汰较差版本，然后进入下一轮迭代。

她还特别提到了DGM（Darwin Gödel Machine）：直接让一个coding agent去修改自身的Harness代码仓库。

实验中，以Claude 3.5 Sonnet为基座模型，从简单的初始配置出发，DGM进化出的agent效果惊人：在SWE-bench Verified上的表现从20%提升至50%；在Polyglot上从14.2%提升至30.7%；甚至达到或超越了人工设计的agent水平。

这表明，即使不动模型权重，Harness本身也已能成为能力提升的搜索空间。不过，这类方法更适合代码、算法、GPU kernel等可自动评估的任务。如果任务涉及科研品味、产品长期质量、复杂组织协作，评估速度会慢得多，评估标准也模糊得多。

Harness会变强，但依然有边界

翁荔并不认为Harness是替代模型训练的路线，她的判断更像是二者相互强化。足够成熟的Harness能让模型自我改进的研究循环顺畅运行；而更聪明的模型又能防止Harness被过度设计，保持系统的可持续性。长期来看，Harness的许多改进最终可能被“内化”到模型自身的行为中——就像提示词工程的手动技巧，随着模型指令跟随和推理能力增强而逐渐变得不那么重要。但“说清楚目标、约束、上下文、评估标准”这件事本身，从未消失过。

不过，她也没有回避实现RSI这条路上当前存在的瓶颈：

• 评估器太弱太模糊。目前能跑通自我改进循环的，基本都是写代码、解数学题这类拥有明确、快速、客观反馈的任务。而研究品味、创新性、长期科研价值，几乎无法量化。
• 上下文和记忆的生命周期问题。任务越自主、越独立，需要管理的记忆就越多。翁荔认为，这未来可能成为智能本身的一部分，而不只是停留在软件系统层面。
• 负面结果容易被忽视。研究者天然更愿意发表成功的结果，模型在海量以成功案例为主的数据上训练，可能不太擅长判断何时该放弃一个假设，或者如何如实报告一次失败。
• 多样性坍缩。进化和强化学习类的循环容易反复利用已知的高回报模式，如果没有额外机制进行约束，种群会逐渐坍缩成同一种方案的变体。
• Reward hacking。自我改进循环会优化给定的任何信号——奖励来自单元测试，模型可能就去过拟合测试；奖励来自评委模型，模型就可能学会有针对性地“讨好”评委；奖励来自榜单分数，模型就可能去利用榜单本身的漏洞。
• 长期健康和短期成功之间的矛盾。以coding agent为例，它们已经能切实提升软件工程的日常生产力，但优化目标大多还是短期的——能否把眼前任务做完，而非能否保护一个由成百上千工程师共同维护的代码库的长期健康。可维护性、权责边界、迁移成本、未来的调试负担，这些标准在沙盒训练中基本还照顾不到。
• 人类的角色。翁荔认为，人类不会被踢出循环，而是要往“环外”移动——在合适的时机、合适的抽象层级上提供监督，这也是系统设计时需要考虑清楚的问题。

过去，大模型竞争主要看参数、数据、算力和推理能力。但现在，另一个变量已经越来越难以被忽略：Harness。同一个模型，放入不同的Harness中，可能表现出完全不同的能力——这在业内已从少数人的观察变成了共识。从翁荔这篇博客也可以看出，“AI自进化更现实的工程入口是什么”，将成为下一阶段讨论的焦点。

博客原文：https://lilianweng.github.io/posts/2026-07-04-harness/

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：翁荔新博客自进化从Harness开始崔添翼转发附议要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题