Harness 是 AI Agent 的未来还是辅助工具

Harness，作为AI工程化进程中的关键组件，正成为提升大模型实际效能的核心手段。它要解决的核心痛点，是“模型具备潜力，但输出不稳定”。在当前阶段，Harness不可或缺，它能让能力尚不完善的模型可靠地投入生产环境。这好比一副可靠的支架——在腿部力量完全恢复之前，它是行走的必备支持。

近期GitHub上有一组引人注目的实验数据，极具说服力。一位开发者进行了一项对比测试，仅仅是将一个编程智能体的代码编辑格式，从传统的str_replace替换为自研的hashline方案，模型本身未作任何调整，结果Grok Code Fast 1模型的任务成功率，从6.7%急剧跃升至68.3%。

性能提升超过十倍。

这一增幅极为显著。要知道，当前主流厂商发布的最新大模型（例如GPT-4o、Claude 3 Opus），每次版本升级带来的性能改善，通常仅为几个百分点。而一项工程层面的优化，竟能带来如此巨大的效果提升。

这恰好印证了技术社区近期流行的一个公式：智能体（Agent）= 模型（Model）+ 马具（Harness）。

模型（Model）部分易于理解，即Claude、GPT、Gemini等大语言模型的本体。而马具（Harness），指的是构建在模型之上的整套工程化体系：包括提示词工程、工具调用规范、编辑格式、上下文压缩与管理、状态维护、重试机制、结果验证、安全边界等。

简而言之，Harness是为模型套上的一套“缰绳”与“鞍具”，通过系统性的约束与引导，极大化地释放与提升模型的内在能力。因此，越来越多的从业者开始将Harness视为构建实用化智能体的真正技术壁垒，其地位类似于几年前的“提示词工程”。

然而，对于Harness的长期价值，或许需要更辩证地审视。它无疑极其重要，但从本质上看，它更像一个“过渡性层”。当下的高价值，并不必然意味着永恒。

Harness为何近期备受关注？

原因非常直接：因为它效果显著，且能立竿见影。文章开头引用的实验便是最佳例证。

该实验的作者Can Bölük拥有游戏安全背景，他维护着一个名为oh-my-pi的开源编程智能体项目。该项目的核心，是用约7500行Rust代码构建了一个原生引擎，专注于一件事：打磨Harness。事实上，GitHub上现已涌现大量“oh-my-xxxx”类项目，它们共同的特点是：不追求更换更强的模型，而是极致优化使用模型的“方法”。

在oh-my-pi中，解决代码编辑问题的方案称为Hashline。其核心思路清晰而巧妙：

原理很直观。当模型读取源代码文件时，为每一行附加一个2-3个字符的内容哈希标签。模型在编辑时，只需引用这些简短标签来定位和修改特定行。若文件在读取后被其他进程改动，导致哈希标签不匹配，则该次编辑会被直接拒绝。这使得模型无需费力地精确复述整行原始内容，只需记住一个简短的标签即可。

效果如何？oh-my-pi的README中提供了明确的基准测试数据：

在涵盖16个模型、180项任务、3轮运行的测试中，hashline格式在大多数模型上的表现均达到或超越了str_replace，对能力较弱模型的提升尤为显著。其中，Grok Code Fast 1的成功率从6.7%飙升至68.3%，而Grok 4 Fast的输出token数量还减少了61%。

Can Bölük用一句精妙的比喻总结了这种现象：“你在责怪飞行员技术不佳，但问题其实是起落架故障了。”

这说明了什么？说明模型本身拥有完成任务所需的知识与能力，但其“输出表达能力”或“交互格式”存在局限。它知道代码应该如何修改，却不知道如何以现有工具规定的格式准确无误地回写。因此，需要Harness来充当“翻译官”与“校验器”，帮助它进行格式转换、错误纠正与执行确认。

就像一个思维清晰但表达欠佳的人，需要一位翻译才能有效沟通。这位翻译，就是Harness。

然而，“翻译官”本身并非终极答案

这引出了一个根本性问题：我们为何要长期依赖一个“表达不清”的模型？

深入观察便会发现，当前许多Harness所承担的工作，本质上并非“增强”模型，而是在“弥补”模型的缺陷，为模型处理善后。例如：

• 模型调用工具不稳定？那就为它封装一层标准的工具调用协议。
• 模型上下文容易混乱或遗忘？那就引入摘要、压缩、分层记忆等管理机制。
• 模型生成的代码补丁（patch）频繁失败？那就尝试不同的编辑格式，并添加严格的验证步骤。
• 模型出错后容易陷入错误循环？那就设计重试、回滚与反馈闭环逻辑。

这些工作当然必要且极具价值，但必须正视一个现实：这些工作的存在，恰恰反映了模型本身尚不够成熟与完善。

说得更直接一些，今天Harness的很大一部分价值，源于模型当前的缺陷。一旦模型自身持续进化，补齐了这些短板，那么Harness中许多当前被视为“高价值”的组件，其重要性可能会迅速衰减。

历史总是相似的。回顾“搜索时代”与早期的“提示词时代”，曾几何时，精通复杂搜索语法或撰写精妙提示词被视为一门独家技艺，甚至催生了专门的“提示词工程师”岗位。但如今呢？随着搜索引擎和模型本身变得愈发智能，这些曾经的技术壁垒大多已融入基础功能，不再需要专门钻研。

Harness很可能遵循相似的演进路径。它在现阶段至关重要，但其重要性，很大程度上建立在“模型尚未进化到位”这一前提之上。

从“编辑工具”的演进最能看出趋势

为何hashline实验的结果如此令人震撼？因为它精准击中了当前智能体在实际应用中最棘手的环节：文件编辑。

让智能体编写代码的流程，表面看似智能，其核心原理无非是：读取文件 → 理解需求 → 生成修改方案 → 写回文件。最容易“出错”的，恰恰是最后一步“写回文件”。

因为“写回文件”并非纯粹的自然语言理解任务。它要求精准的定位、稳定的格式、不漂移的上下文、可验证的修改以及失败后的可恢复性。如果模型仍停留在需要“背诵”出原文才能进行修改的层面，失败几乎是必然的。

这也解释了为何业界目前没有统一方案，而是百花齐放：有的采用差异补丁（patch），有的使用查找替换（search/replace），有的则直接训练专用模型来处理合并（merge）。JetBrains的Diff-XYZ研究表明，不同的差异表示方式在不同模型和不同任务上的表现并不一致，不存在一种适用于所有场景的“终极格式”。

Martin Fowler近期发布了一篇关于“Harness Engineering”的深度文章（作者是Birgitta Böckeler），其中给出了一个精辟的定义：Harness由两部分构成——引导器（Guides）和传感器（Sensors）。

• 引导器（前馈控制）：在智能体行动之前，引导其走向正确的方向。
• 传感器（反馈控制）：在智能体行动之后，监测其结果，帮助其进行自我纠正。

仅有反馈而无前馈，智能体会重复犯错；仅有前馈而无反馈，则无法验证规则是否有效。二者相辅相成，缺一不可。

然而，无论是引导器还是传感器，其本质都是在为模型当前的能力不足提供“辅助”与“补救”。在当下，这套体系意义重大，因为今天的模型还远未强大到“听一句话就能一次做对”的程度，它既需要引导，也需要监督。

但核心问题依然存在：这套体系究竟是未来智能体的核心能力，还是当前技术阶段的“代偿”系统？答案更倾向于后者。

不妨设想一下，两年后如果出现这样一个模型：上下文窗口长达1亿token，几乎无需人工管理；原生支持所有主流编辑格式，无需额外翻译；具备强大的自我反思与纠错能力；工具调用准确率高达99.9%……到那时，我们还需要今天这般复杂的Harness吗？

模型必然持续进化。GPT-4强于GPT-3，未来的GPT-5也必将超越GPT-4。每一次进化，都在某种程度上削弱着特定Harness组件的必要性。

那么，Harness究竟是不是技术壁垒？

答案是：短期来看，是；长期来看，未必是。

短期内，Harness无疑是重要的竞争壁垒。在模型能力相近的情况下，谁的编辑链路更稳定、工具调用更精准、状态管理更健壮，谁的智能体就更具实用价值与竞争力。

但长期而言，不宜将Harness“神化”。因为它内含的许多价值，根植于“模型不够强”这一现状。一旦模型原生能力获得突破，能够稳定处理编辑语义、自主管理上下文、进行有效自我反思、精准调用工具并维持状态，那么今天许多看似硬核的Harness技巧，很可能被模型底层能力快速吸收和整合，从而失去其独特性。这正如提示词工程的演变历程。

总结与展望

Harness是特定技术发展阶段的产物，它致力于解决“模型有能力，但表达输出不稳定”的核心痛点。在当下，它至关重要，如同可靠的拐杖，帮助尚未“完全康复”的模型行走和奔跑，切实完成工作任务。

然而，拐杖的终极命运，是被舍弃。并非被一根更精美、更智能的拐杖所替代，而是因为腿脚已然强健有力，不再需要任何外在支撑。

模型将持续进化：表达能力将更加精准自然，上下文窗口会不断扩大，工具调用趋于完美可靠，反思与纠错机制愈发健全。每一次进化，都在促使我们重新思考一个根本问题：我们究竟是在解决模型的问题，还是在绕开模型的问题？

Harness的许多工作，很大程度上属于“绕开”。当模型强大到无需绕行，能够直抵目标时，Harness便完成了它的历史使命，其核心价值将逐渐内化于模型自身的能力之中。