地平线HoloAgent-0框架助力Agent走入物理世界

HoloAgent-0：统一Agent框架，让机器人拥有3D空间记忆与闭环执行能力

HoloAgent-0的核心目标简洁而明确：将LLM Agent在数字世界中成熟的闭环执行能力，无缝迁移至真实物理机器人。数字Agent能够轻松读取数据、调用工具和修改系统状态，但物理机器人面临截然不同的挑战——它必须依赖传感器“感知”环境，通过执行器“改变”环境，整个过程伴随着感知不完整、执行结果不确定以及技能调用复杂等固有难题。

为应对这一挑战，HoloAgent-0以Embodied AgentOS为中枢，将自然语言指令转化为可执行的任务流程（业内称为“技能图”），并将交互、导航、运动、操作等机器人技能纳入统一调度体系。在运行时，系统实时接收反馈，确认任务结果、处理失败场景，并在必要时触发重规划。此外，受Agent Harness中持久化记忆机制的启发，系统引入了3D时空记忆，将空间状态、任务进展与执行历史紧密关联，为真实环境中的长程闭环执行提供坚实支撑。

该系统已成功部署于多款人形机器人和轮式双臂移动平台，在长程导览、跨机器人协作、移动操作等场景中验证了闭环执行能力，堪称具身Agent向物理世界迈出的可行一步。

更多机器人演示、技术细节与代码更新，请参阅项目主页及相关论文。

• GitHub代码：https://github.com/HorizonRobotics/HoloAgent
• 项目主页：https://horizonrobotics.github.io/robot_lab/holoagent
• 论文链接：https://arxiv.org/abs/2606.23565

概述

引领Agent迈向物理世界

机器人要在物理世界中稳固立足，不能依赖一次性语言规划，也无法简单地将导航、操作、运动模块串联起来。真实机器人必须通过传感器感知环境，利用执行器作用于世界——这自然带来了不确定性：感知可能不完整，执行结果可能偏离预期，复杂技能则可能仅部分完成或失败。

HoloAgent-0的核心思路十分直接：为机器人构建一套系统级的执行抽象——让物理技能像软件工具一样被统一调用，同时确保每个技能在执行过程中持续反馈进展、异常状态及潜在恢复策略。基于这一抽象，机器人能够在“观察—检索—规划—执行—验证—更新”的闭环循环中持续运行，而非一次性生成计划后被动等待执行结束。

系统由三个层次构成：Embodied AgentOS负责任务级闭环执行，Memory Layer维护持久化的3D时空记忆，Skill Layer封装了可调用且带反馈的机器人技能。这三个层次协同工作，将真实机器人的导航、操作、运动、感知与交互能力整合为一个可部署、可监测、可恢复的具身Agent系统。

总体框架

闭环执行的具身Agent系统架构

HoloAgent-0并非旨在替代底层机器人模型，而是将现有机器人能力整合为一个可部署、可监测、可恢复的系统。在数字世界中，Agent Harness负责连接LLM、工具调用、状态记录与执行反馈，使Agent能在软件环境中持续运行；HoloAgent-0则将该执行抽象延伸至物理世界，将空间记忆、机器人技能、执行监测与失败恢复纳入统一的闭环。

用户通过语音或文字下达任务后，AgentOS首先解析意图，随后从3D时空记忆中检索相关房间、物体、观察视角及历史执行状态。接着，系统将任务分解为可执行的技能图，并调度不同机器人平台或技能后端以完成任务。在整个执行过程中，HoloAgent-0持续跟踪任务进展与异常状态，基于反馈判断任务是否完成、是否需要重试、更新记忆或向用户请求确认。这使得机器人不再仅执行一组静态动作，而是能够在物理世界中持续感知、决策与修正。

HoloAgent-0框架概览：以Embodied AgentOS为核心，连接3D时空记忆与机器人技能，构建面向真实物理世界的自主执行闭环。

整体设计思路旨在将数字Agent Harness的运行机制扩展至真实机器人场景，并归纳出四个核心原则：

• 闭环优先：将数字Agent Harness中的“执行—反馈—修正”循环，扩展为HoloAgent中的“观察—检索—执行—反馈—修正”具身执行闭环。
• 记忆为中心：将数字Agent的持久化状态，扩展为HoloAgent的3D时空记忆，使机器人能够复用空间状态、任务进展与执行历史，而非仅依赖当前相机画面或短对话。
• 技能接口统一：将软件工具的API调用机制，扩展为机器人技能调用——导航、操作、运动、交互能力均封装为可调用、可反馈的技能。
• 状态可监测：将工具调用与运行状态记录，扩展为机器人执行监测，记录命令、状态、检索结果与技能反馈，支持调试、失败诊断与运行时恢复。

Embodied AgentOS

从语言指令到真实机器人闭环执行

上图展示了HoloAgent执行不同指令时的机器人动作序列，清晰呈现了AgentOS如何将自然语言指令转化为真实的机器人闭环执行流程。

Embodied AgentOS是HoloAgent-0的规划与调度中枢。其定位并非将LLM视为一次性规划器，而是在任务执行过程中持续维护状态、检索空间上下文、调度机器人技能，并根据反馈进行确认、恢复或重规划。

具体而言，AgentOS先将用户指令解析为可执行的技能图，将语言目标绑定到具体空间对象——如某个房间、物体、观察视角或候选操作区域。接着，调度导航、感知、操作、运动和交互等技能以完成任务，同时持续监控执行进展。若目标不明确、环境变化、技能执行失败或结果无法验证，AgentOS将触发用户确认、技能重试或任务重规划。执行结束后，新观察、任务结果与执行轨迹会写回3D时空记忆，使后续任务能够直接复用更新后的世界状态。

3D时空记忆

赋予机器人空间感知与历史记忆

真实机器人要长期运行，仅理解物理空间并不足够，还需记住执行过程中发生的一切。HoloAgent-0的3D时空记忆使机器人能够知晓房间位置、物体分布、目标观察视角以及过去执行的任务。当用户说“带我去找咖啡机”或“去刚才那个机器人那里”时，系统能利用已有记忆快速缩小搜索范围，而非每次从当前相机画面重新认识环境。

系统将多模态感知数据组织为结构化的场景图（HMSG），作为机器人的空间记忆持续维护。

为支持高效检索，系统采用了Hierarchical Multimodal Scene Graph（HMSG），将空间信息组织为“楼层—房间—观察点—物体”的层级结构。这样，机器人可先缩小搜索范围，再执行视觉确认。任务失败或环境变化后，机器人仅更新受影响的局部记忆，无需重建整个环境表示。通过3D时空记忆，机器人在长期运行中持续积累、修正并复用世界状态。这种记忆能力不仅服务于目标搜索，也为状态验证、失败恢复与长程任务规划提供关键上下文。

HMSG将环境表示为楼层、房间、视图和物体四个层级，通过层级关系与拓扑关系连接不同空间单元。

机器人技能

长程导航、操作与运动协同执行

HoloAgent基础导航框架流程：先逐步缩小搜索范围，再在线验证目标，信息不足时主动探索并更新空间记忆。

在技能层，HoloAgent-0开发了地平线具身基础导航框架HoloNa vi，助力机器人根据语言目标、物体目标、探索前沿或目标位置完成导航。它并非仅走向固定坐标点，而是结合3D时空记忆、语义检索、视觉确认与主动探索，逐步判断目标可能位置、目标是否真实存在以及是否需要继续搜索。

Unknown Scene Exploration｜机器人主动探索未知环境：左上为第三人称视角，左下为占用网格地图与最优前沿点，右侧为原始观测与状态监测结果。

在开放词汇目标导航中，HoloNa vi先将自然语言指令转化为结构化空间查询，在HMSG中检索候选房间、观察视角与物体实例；然后通过语义匹配与视觉验证缩小目标范围，到达候选位置后确认目标是否存在。若现有记忆不足以定位目标，系统将主动探索新的候选区域。导航过程中的新观察、目标验证结果与失败信息均返回给AgentOS，并写回3D时空记忆，用于后续的重试、恢复或重规划。语音交互技能也已接入AgentOS，使机器人在导览与目标搜索过程中能与用户持续沟通。

Robot Companion｜机器人陪伴式导览：展示机器人与人类自然互动的场景，体现陪伴式导览能力。

为评估AgentOS闭环对机器人执行能力的提升，我们在仿真与真实场景中均进行了长程导航测试。在HM3D-ObjNa v基准上，HoloAgent-Na v取得了82.6%的SR与42.8%的SPL，超越了FSR-VLN slow-reasoning的80.8%/41.0%以及MSGNa v的74.1%/33.4%。这表明AgentOS闭环在提升目标到达成功率的同时，路径效率也保持良好。在真实人形机器人导航中，HoloAgent-Na v达到了97.7%的Top-1@1m与98.9%的Top-5@1m成功率，验证了系统在真实环境中的长程闭环执行能力。

HM3D-ObjNa v仿真导航基准性能对比：HoloAgent-Na v在成功率与路径效率上均表现更优。

真实机器人导航测试结果：HoloAgent-Na v在真实环境中的长程闭环执行能力得到了验证。

除导航外，HoloAgent-0还接入了地平线具身基础操作模型HoloBrain，将导航与操作能力相结合，支持长程移动操作任务。对于抓取、放置、开合、递送等局部操作，AgentOS不直接控制机械臂，而是将HoloBrain的能力封装为可调用、可反馈的操作技能。遇到复杂任务时，系统先由HoloNa vi将机器人移动到相关区域，再由HoloBrain执行短距离操作，随后通过执行反馈检查任务进展。若目标缺失、遮挡、不可达或操作失败，AgentOS将触发重新检索、导航重定位、技能重试或更新子计划。

Long-Horizon Mobile Manipulation｜长程导航移动操作：左上为机器人移动操作全流程，右侧为原始观测与状态监测结果。

同时，HoloAgent-0还接入了地平线具身基础小脑模型HoloMotion，将人形机器人的全身运动能力纳入同一套AgentOS闭环。AgentOS通过高层指令调度机器人行走、转向与动作交互，无需直接处理底层关节控制。HoloMotion在执行过程中持续返回运动进度、稳定状态与完成结果，使AgentOS能根据真实执行状态继续调度后续技能，或在异常情况下触发恢复与重规划。

Prompt Motion Control｜交互式全身控制：左上为机器人动作展示，左下为用户交互过程，右侧为原始观测与状态监测结果。

跨机器人协作

共享记忆与协同执行策略

HoloAgent-0通过共享记忆与标准化技能接口组织不同机器人本体，实现轻量级跨机器人协作。一个机器人负责导航、搜索或更新空间记忆，另一个机器人则基于共享目标信息执行交互动作或操作技能。

机器人之间通过同一套3D时空记忆共享观察结果、地图更新与执行状态。AgentOS根据各平台的能力、位置与可用状态分配任务，并通过统一接口跟踪执行进展与异常情况。这样一来，系统无需为特定机器人组合定制控制器，也能实现跨本体协同执行。

Cross-Robot Coordination｜跨机器人协作执行：一个机器人负责导航、搜索或更新空间线索，另一个基于共享信息执行交互或动作任务。

总结

从虚拟到现实：具身Agent的物理世界落地

HoloAgent-0面向真实机器人部署，构建了一套统一的具身智能体框架，将数字LLM Agent的工具调用、状态反馈与重规划循环扩展至物理世界。系统依托Embodied AgentOS、3D时空记忆，以及可调用、可反馈、可恢复的机器人技能，将导航、感知、操作、全身运动与跨机器人协作全部整合为可部署、可监测、可恢复的具身执行闭环。

本次发布的HoloAgent-0，在长程导航、跨机器人协作与移动操作等任务中展示了具身Agent的组合执行能力。未来，HoloAgent将继续推动机器人从“能执行单点技能”迈向“能在真实环境中长期运行、持续反馈、协同完成任务”的通用具身智能体。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：地平线HoloAgent-0框架助力Agent走入物理世界要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题