BrowserBC克隆人类点击,将网页操作转化为Agent能力
如果说Web Agent不具备浏览器操作能力,显然有失公允。当前Claude、Codex等Agent能够浏览页面、识别按钮、执行点击输入、完成跳转与提交等操作,表现相当全面。然而,真正的痛点在于另一个环节:每逢新任务或新网站环境,几乎都需要调用参数最多、成本最高的模型,从头开始重新探索整个操作流程。
如果说Web Agent不具备浏览器操作能力,显然有失公允。当前Claude、Codex等Agent能够浏览页面、识别按钮、执行点击输入、完成跳转与提交等操作,表现相当全面。然而,真正的痛点在于另一个环节:每逢新任务或新网站环境,几乎都需要调用参数最多、成本最高的模型,从头开始重新探索整个操作流程。
这种“从零摸索”的模式,后果相当突出:Agent可能在数个页面间反复跳跃,陷入无效循环;或逐渐偏离原始目标,越行越远;也可能在搜索结果中来回切换却未能全面读取信息,抑或答案近在眼前却提前终止任务、草草收场。
更为棘手的是,即便某次任务侥幸成功,这些操作经验也往往随对话结束而流失。下次执行相似任务、换用其他Agent时,仍需从头试错,重蹈覆辙。
由此引出一个核心诉求:能否实现一次操作、多次复用?具体而言——能不能由人工认真完成一次任务,将这一过程中的关键“诀窍”进行打包,再交由一个更经济、规模更小的模型,让它依据这套方案完成同类任务?
Einsia AI旗下Na vers Lab发布的开源项目BrowserBC给出了明确答案:录制→转写成Skill→交付执行。
- 录制:在浏览器中执行任务时,完整记录全过程——包括任务指令、每一步的页面观察(渲染截图及结构化的DOM/可访问性树快照)、用户的全部操作(点击、输入、跳转、提交,附带对应元素定位)、页面反馈(跳转、校验报错、完成信号),以及任务最终所处的状态。
- 转写:关键在于,系统并非将操作保存成“回放脚本”,而是通过模型将其转写为一份自然语言的Skill——一份说明书式的“技能卡”,清晰定义此类任务应如何执行、如何判断正确完成。
- 执行:将这份Skill交给任意模型阅读。模型据此在真实页面上自主落地操作,而非机械复刻某次点击的坐标。
简单来说,BrowserBC类似于Agent时代的“按键精灵”。传统按键精灵录制并回放鼠标点击与键盘敲击,但依赖固定坐标和按键,页面一旦变化、布局调整,整段脚本立即失效。
BrowserBC录制的并非坐标,而是将一次操作转写为一份明确“该做什么、如何算完成”的技能:它能被其他模型理解,能在发生变化的页面上举一反三,也能被不断合并与复用——这是一种能够“理解”、实现迁移、并直接交付给他人使用的智能按键精灵。
这也揭示了BrowserBC的核心所在——技能的来源与技能的执行,可以实现彻底分离。人类在浏览器中完成一次任务,该次操作被转写成技能;之后,按技能执行同类任务的是另一个模型,即使是更小、更便宜的模型。技能一旦被转写为自然语言,就能在模型之间自由传递、复用与组合。
这正是迈向“通用网页浏览”的关键步骤:将人类每日的浏览器行为转化为Agent可执行的经验。
BrowserBC将人类的浏览器操作轨迹蒸馏为可复用的自然语言技能,为Agent访问陌生网站提供了“决策先验”。
人类一次录制,Agent即可模拟
研究团队录制了一个典型案例:
任务十分常见:旅行前希望在目的地找到安全、便利且价格合理的民宿,需要在预订网站输入日期、地点、入住人数,按评分与评论数量进行筛选并排序,最终找出最佳选项。这类任务看似简单,但小模型经常失败——要么不理解任务,要么不懂得如何使用筛选功能,要么产生幻觉输出虚构信息来假装完成任务。
第一步,录制。研究团队先让一名人类用户完整执行一次操作:进入网站→输入日期、地点及人数→应用合适的筛选器→阅读所有搜索结果→找出最佳选项。整个过程被如实记录下来。
第二步,转写成Skill。系统将这段操作转写成一张技能卡,而非一段坐标回放。卡片记录了此类任务的通用方法:
- 意图:在预订网站上找出最佳住宿选项;
- 关键步骤:先输入基本信息,搜索后逐项应用筛选器——这正是小模型最容易忽略或无法执行的关键环节;
- 完成判据:最终输出可供人工审核的版本;
- 需避免的陷阱:网站官方筛选器可能与用户实际标准不符,必要时需自行编写脚本进行筛选。
第三步,交付小模型执行。这张卡片被交给一个更小的模型,让它完成另一次旅程的信息检索任务。没有这张卡片时,小模型要么跌跌撞撞卡住、要么直接输出幻觉;有了卡片后,它立即清楚应输入哪些信息、需核查哪些界面、哪些依赖网站官方判断、哪些需自行判别——从而稳定地完成了任务。
至此,BrowserBC将“操作浏览器”这一日常行为,转化为Agent可复用的技能。人类完成一次路径探索,系统将其转写成说明书,Agent型负责按说明书完成同类任务。
而且,该路径天然具备可复用与可扩展性。人类访问网站的分布服从幂律规律:常见站点构成大部分访问量,对这些站点,使用越频繁,Skill库会逐渐收敛并趋于完备;更关键的是,针对稀疏的长尾站点,BrowserBC让人们再也不必等待那些陈旧落后的网站自行提供MCP(或官方Agent接口)。
现实情况是,大量老旧网站永远不会专门为Agent提供一套干净的机器接口。而BrowserBC直接复用人类在“面向用户的界面”上积累的操作经验——只要人能用浏览器操作该网站,Agent就能通过蒸馏出的技能同样操作它。换句话说,一个网站能否被Agent高效访问,不再取决于网站方是否愿意配合,而取决于是否有人已经在该网站上走通过路径。这正是“通用”二字的底气所在。
方法:如何将一次操作转写成可用的Skill,又怎样管理不断增长的Skill集合
BrowserBC将嘈杂的浏览轨迹清洗、蒸馏为可复用的自然语言技能,并进一步组织成可扩展的技能图,最后检索相关技能指导Agent完成新任务。
BrowserBC的方法部分,核心在于回答两个问题:如何总结一次操作,总结时应注意什么;以及,针对积累的大量Skill,如何进行有效管理。
第一个问题:如何进行转写,有哪些关键注意事项?
原始的浏览器轨迹通常非常嘈杂——包含误点击、无意义等待、重复尝试、临时页面状态,甚至可能涉及隐私信息。因此,在转写之前,BrowserBC会先进行清洗,并按照语义将轨迹切分为一系列连贯的子过程,而非按固定长度进行硬切。每一段首先被提取为一份“证据(evidence)”:保留任务指令、操作前后的页面状态、用户的关键步骤、页面反馈,以及成功或失败的信号。随后,证据被转写为结构化的自然语言Skill卡,通过固定字段明确定义“该做什么、如何判断进展、怎样算完成、失败时如何处理”,以及技能的来源与适用场景。
这里有一个最需注意的原则:只保留“可迁移的过程性知识”,剥离“会变化、会泄露的细节”。
- 需剥离的内容:精确坐标、DOM选择器、临时ID、登录状态、隐私文本,以及任何指向具体答案、针对评测验证的内容;
- 需保留的内容:在语义层面“该做什么、如何判断进展、怎样算完成”。
举个例子,一张“填写表单”的技能卡应写明“按语义标签找到对应字段、将任务给定的值正确填入、提交后确认页面出现成功状态”,而非“点击坐标 (x, y),再点击ID为某字符串的按钮”。原因很简单:网页随时可能变化,布局、DOM、版本、登录状态都会变,克隆坐标和选择器的方式极其脆弱;而克隆“做什么 + 如何判断完成”才真正具备可迁移性。
还有两点值得一提:其一,一条成功轨迹即可蒸馏出一个可用技能(它本身刻画了一种可行解的结构);而将同一任务的多次尝试(包括失败)合并处理,技能会更加稳定——成功的运行强化执行步骤,失败的运行则暴露缺失的前置条件,并催生显式的恢复策略。其二,转写时需进行泄露检查:技能卡只应记录可复用的过程,绝不能夹带具体答案。
第二个问题:如何管理Skill?
如果每条轨迹都生成一个独立的技能,技能库很快就会失控:出现重复、冗余甚至互斥的情况。BrowserBC的做法是将库组织为一张技能图(skill graph)。
每当产生一个候选技能,系统就会判断该将其新增(add)为一个新节点、合并(merge)进已有技能,还是登记为某个更通用技能的特化(specialize):
- 当两个技能在意图、前置条件、步骤、效果、终止证据上彼此兼容时,则合并;
- 当它们的适用条件不同、所需信息不同、或约束相互冲突时,则保持独立。
图中的节点是技能,边是技能之间的关系——时间依赖、特化、同一子目标下的替代方案、以及同一状态下的互斥关系。这样,一个通用过程(如“填写表单”)可以连接到它的各种特化(支付、修改资料)及相应的失败恢复技能,而不必将它们压缩成一条扁平的条目。
这张图带来了三项优势,也正是BrowserBC所强调的“可扩展性”的真正含义:将重复的演示合并为可复用的节点,而非无限堆叠样本;让检索和更新只涉及相关的局部区域;支持增量精炼——每来一条新轨迹,仅更新受影响的技能及其邻居。
需要强调,这张图的价值在于“组织”:学习与复用的基本单元始终是那张自然语言技能卡,而图将这些卡片有序存放、检索和更新,这正是技能库能持续扩张而不失控的关键。
在执行端,检索也被刻意设计得极为轻量:按语义相似度(若附带额外信息,则叠加与当前页面上下文的兼容性)挑出一小批相关技能,放入Agent的上下文,剩余落地工作由Agent自行读取当前页面完成。技能既非可执行脚本,也不是需照搬的演示,它只是将Agent引导至蒸馏出的行为模式,而每个具体动作仍由Agent针对当前页面实时选择。
实验与讨论:技能带来跨基准、跨站点的一致提升
BrowserBC首先在WebArena-Hard上接受检验:258个经人类核验的任务,覆盖GitLab、电商及其后台、论坛、跨站点组合等六类自托管站点。实验严格控制变量——Agent、动作接口、步数与时间预算全部固定,唯一变量是是否注入BrowserBC检索到的Skill。
实验数据显示:基准Agent成功率为60.5%(156/258),注入技能后成功率提升至81.4%(210/258),实现了20.9个百分点的显著提升,挽回了基线原本失败的54个任务。
更强的检验来自ClawBench:152个任务运行在真实线上网站,页面布局与操作流程在不同运行间可能变化,且以写操作为主。这一设定彻底杜绝了“依赖记忆”的可能性——任何编码精确坐标、DOM选择器或缓存页面状态的技能,在此只会越用越糟。
结果显示:未使用技能的基线仅解出50/152(32.9%),注入技能后解出104/152(68.4%),提升了35.5个百分点,几乎将解出任务数量翻倍,且全部八个类别普遍受益。
BrowserBC在WebArena-Hard与ClawBench上的性能表现。
事实上,技能不仅提升了成功率,还缩短了完成任务所需的交互次数。在WebArena-Hard任务中,Agent的平均工具调用次数从31.2降至22.7(降幅达27.3%)。这与“技能作为流程性先验”的定位一致:它减少了试探性导航与反复页面查看,而将底层grounding任务留给执行时的实时页面状态。
BrowserBC既提升了交互效率,又使蒸馏出的技能可在不同模型间迁移。
讨论一:Skill是一份“带置信度的先验”,而非一条命令
一个细节很能说明问题:在WebArena-Hard上,若强制Agent逐字照搬检索到的技能——即便当前页面证据与之矛盾——成功率仅为77.5%;而允许Agent选择性使用、在与页面冲突时以页面为准,才达到81.4%。更具体地,约3.9%(10/258)的任务中,盲目照搬技能反而导致本可成功的任务失败。这恰恰印证了核心判断:自然语言技能的价值在于“提示策略”,落地执行永远应交给模型读取当前页面来完成。
讨论二:技能是“蒸馏一次、低成本复用”的模型无关对象
BrowserBC的一个设计主张是:技能可由一个强模型蒸馏一次,再交由另一个更便宜的Agent在执行时复用。团队在WebArena-Hard任务上,将“蒸馏技能的模型”与“执行技能的模型”进行交叉组合,得出两点结论。第一,技能质量主要取决于蒸馏阶段:Sonnet-4.6蒸馏出的技能能同时大幅提升两个执行器的表现(分别提升24与20个百分点),而Qwen-3.7蒸馏的技能仅带来微弱增益。第二,高质量技能可跨执行器迁移:装备了Sonnet-4.6技能的小Agent达到77%的成功率,逼近大Agent的80%,直接印证了“蒸馏一次、低成本复用”的设想。
讨论三:剩余难点在于“执行精度”,而非“知识不足”
对仍然失败的案例进行人工审计后发现,瓶颈大多集中在执行精度,而非缺乏知识:长表单漏填某个字段、目标对象存在歧义、长程任务将预算消耗在中间页、或模型自身推理过长导致“跑飞”。这些情况下,技能本身是正确的且已被使用,限制因素在于“按流程执行的保真度”——即底层模型的能力。这也划定了“小模型执行”的可行边界:技能能补充“该怎么做”,但无法弥补“操作稳定性”。
讨论四:迁移至浏览器之外——OSWorld案例研究
论文还在30个OSWorld风格的Ubuntu桌面任务上进行了一次诊断性迁移研究——这并非完整的OSWorld刷榜实验,而是考察“方法中的哪些部分可以迁移”。30个任务中,17个在配备匹配技能后表现改善,说明过程性先验确实能跨越浏览器边界发挥作用。
真正可迁移的并非浏览器专属的动作序列,而是那份过程性先验——前置条件、语义状态如何转移、进度里程碑、终止证据、失败恢复策略。在浏览器中,它体现为页面、链接、表单;在桌面上,则体现为窗口、文件、对话框、持久设置。剩余案例则划定了方法的边界:少数任务本身足够简单、无需技能;部分任务卡在GUI控制本身(如窗口焦点、模态弹窗、文件选择器状态),而非知识不足;个别案例因检索到错配的技能而被“自信地带偏”。也就是说,当缺失的是“流程结构”时,技能最有效;当缺失的是底层GUI grounding或检索提供错误先验时,技能不仅无助于事,甚至可能添乱。
BrowserBC的意义不止于一个方法
BrowserBC并非一个追求炫技的方法。其真正重要之处在于,它揭示了人类浏览器轨迹的潜在价值:这是人类群体在浏览器迷宫中探索出的高效操作路径。BrowserBC所做的,正是将这些隐含经验的轨迹蒸馏为Agent可用的skill。
核心启示在于:第一,提升Agent的浏览器操作能力,关键在于为其补充完备的网页逻辑知识。第二,人类与虚拟世界的交互过程本身,就是一种尚未被充分利用的数据资源。第三,如果这些轨迹能够被持续蒸馏、管理与复用,Agent就能从“能够操作网页”逐步走向“高效”操作网页。
因此,BrowserBC的核心并非教Agent如何点击网页——它是在信息不完备的环境中,用人类轨迹为Agent补充决策所需的先验。从这个意义上说,真正决定Web Agent上限的因素,从来不是“是否能够复现某个浏览器操作流程”,也不是“能否快速拼装一个看似可运行的系统”或“演示一个热门概念”,而是是否真正构建了能够持续积累、可复用、可迁移的经验结构。
这或许是让Web Agent从“可用”走向“好用”的关键一步。
你是一名 AI 行业编辑,请围绕下面这条热点输出一份资讯解读:
热点:BrowserBC克隆人类点击,将网页操作转化为Agent能力要求:
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题
游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。
相关热点度加剪辑是百度官方出品的剪辑工具,面向口播自媒体创作者。支持视频剪辑、智能识别字幕,并与百度网盘打通,可快速导入素材。适用于泛知识类创作者制作高质量视频,覆盖从素材导入到成品输出的完整流程。
WorkoutMaster是一款基于AI的个性化锻炼计划生成工具,能根据用户目标、偏好及历史训练记录,动态输出专属方案,并实时自适应调整负重、组次等参数。支持定制目标与器械偏好,借助机器学习持续优化,随时随地即可接入使用,确保训练高效安全。
Calorielens是一款利用AI分析餐食照片的卡路里追踪应用。用户只需拍照,AI即可自动识别食物种类和分量并估算卡路里,省去手动输入步骤。应用还提供历史记录追踪功能,帮助把握热量趋势。AI估算精度可满足日常健康管理需求。
百度旗下“简单搜索”AI搜索引擎集成语音、图像、多媒体搜索及实时翻译,支持多模态交互与智能推荐。基于大模型技术,用户可通过对话式交互直接获取精准答案,适用于学习、旅行、生活、职业发展等场景,高效满足信息需求。
- 日榜
- 周榜
- 月榜
热点快看
