HiF-VLA世界动作模型以运动为核心边想边做理解变化

本文第一作者为西湖大学科研助理蔺明慧，通讯作者为阿里巴巴达摩院算法专家黄思腾和西湖大学人工智能系副主任王东林。所有作者均来自西湖大学机器智能实验室（MiLAB）和西湖机器人科技有限公司，团队工作 ReconVLA 近期获得 AAAI 2026 最佳论文奖。

要让具身智能体在复杂多变的真实环境中稳定执行任务，长程任务规划与执行能力是核心挑战。然而，当前主流的视觉-语言-动作模型大多仍停留在“看图说话”式的动作模仿阶段，对物理世界动态演变的理解能力有限。一旦任务链条延长，模型容易因因果混淆而频繁出错。传统方法为引入时间信息而简单堆叠多帧图像，不仅引入了海量静态背景冗余，更导致推理延迟飙升与显存占用爆炸，效率低下。

为应对这些挑战，来自西湖大学、浙江大学、西湖机器人等机构的研究团队提出了一种创新框架——HiF-VLA。该框架的核心思想是转向以“运动”为中心的表征学习。它不再处理冗余的原始像素，而是高效提取低维、紧凑的运动向量作为动态先验。在一个创新的“联合专家”模块中，模型能够同步完成对未来视觉运动的预测和高精度动作序列的生成。

相比传统范式，HiF-VLA彻底摒弃了无用的视觉背景干扰。这不仅使其在极长的历史观测窗口下，依然能保持恒定且极低的推理延迟，更重要的是，它赋予了机器人一种基于物理规律的“直觉”，实现了真正的边想边做。在CALVIN与LIBERO-LONG等长程任务基准测试中，其成功率显著超越了现有最优方法，为构建真正理解物理规律的世界动作模型，开辟了一条全新的技术路径。

目前，这项工作已被CVPR 2026接收，相关代码、模型与数据均已开源。

• 论文标题：HiF-VLA: Hindsight, Insight and Foresight through Motion Representation for Vision-Language-Action Models
• 论文链接：https://arxiv.org/abs/2512.09928
• 项目主页：https://hifvla.github.io/
• 代码仓库：https://github.com/OpenHelix-Team/HiF-VLA

01 研究动机：从「动作模仿」到「理解物理世界」

当前，大多数VLA模型本质上是一种高级的“动作模仿器”。它们接收当前的图像观测，然后直接映射出对应的动作指令。

这种模式在步骤简单的短视距任务中表现尚可，但一旦面对需要多步协作的长程任务，就容易失效。根本原因在于，模型缺乏对物理世界状态变化的深刻理解。它无法记忆自身的历史动作，也难以预判当前动作将对环境产生何种影响，因此极易陷入因果混淆的困境。

要突破这种“短视”局限，模型必须从单纯的“动作模仿”进阶到深层的“物理理解”。这便引出了世界动作模型的概念——智能体不仅要会“执行”，更要能“推演”，能够在心智中模拟环境因自身行为而发生的变化。

那么，如何赋予机器人这种“边想边做”的时空推理能力呢？最直观的思路是将过去和未来的图像帧全部输入模型。但现实是：图像级的时空建模会导致计算成本剧增，同时引入大量静态背景噪声，反而掩盖了关键的动态变化信号。HiF-VLA团队找到了一个更高效的切入点：运动表征。

02 核心方案：HiF-VLA的「三位一体」时空推理

与包含大量冗余信息的像素相比，运动是捕捉物理世界动态演变最本质、最紧凑的表征。以运动为中心，HiF-VLA构建了一个名为后见之明-洞察现在-先见之明的双向时空推理框架。

1. 后见之明：打破马尔可夫假设的「记忆锚点」

智能体必须具备连贯的自我认知。HiF-VLA将机器人过去的历史帧，通过成熟的视频编解码技术提取为低维且紧凑的运动动态先验。这相当于为机器人构建了一个高效记忆模块，使其无需回顾冗长的原始图像序列，就能精确感知“环境刚刚经历了怎样的状态变化”。这段历史上下文，是后续一切高级推理的坚实基础。

2. 洞察现在与先见之明：迈向WAM的「全知视角」

真正的智能，既需要精准感知当下，也需要合理预判未来。在HiF-VLA框架中，这两种能力被清晰解耦又紧密协同：

• 洞察现在：深度解析当前的语言指令和实时视觉观测，让机器人明确“我当前处于什么环境，需要达成什么具体目标”。
• 预见未来：基于当下的洞察，HiF-VLA在输出动作的同时，会初步预测未来的运动趋势。这相当于在模型内部嵌入了一个轻量级的物理模拟器，让机器人能够提前推演自身行为可能引发的后果。

3. 深度对齐：视觉与动作的协同预测

这是HiF-VLA最核心的创新——历史调制的联合专家模块。如果说后见之明和先见之明延伸了模型思考的时间维度，那么联合专家模块则从根本上改变了模型的优化目标。HiF-VLA认为，视觉预测与动作规划的割裂是阻碍模型理解物理规律的主要障碍。因此，其联合专家模块并非简单地将视觉特征和语言指令拼接，而是执行了一个双目标协同优化策略：

• 视觉运动预测 + 动作序列生成：该模块在历史运动信息的动态调制下，被强制要求同时输出对未来视觉运动的预测以及高精度的执行动作序列。

为何这种设计至关重要？这种双目标的联合对齐，迫使模型不能仅仅记忆动作模式，而是必须深入理解“我执行这个动作后，物理世界的视觉状态会发生怎样的动态变化”。

通过将“预测未来视觉变化”与“规划当前动作序列”深度绑定，HiF-VLA实现了真正的边想边做。它不再是盲目地模仿专家轨迹，而是形成了基于物理规律的因果直觉。

03 实验结果与分析

那么，这套理论框架的实际效果如何？我们通过以下几个关键问题来审视其性能。

Q1：HiF-VLA与现有的顶尖VLA模型相比性能如何？

HiF-VLA在多样化的短程和长程任务中都展现出了卓越性能。团队重点评估了其在长程任务上的表现。在LIBERO-LONG任务套件以及CALVIN ABC-D长程任务评测中，HiF-VLA的成功率显著优于诸多现有最优方法。在模拟及真实世界的长程任务测试中，它也展现出更加稳定且优越的任务完成能力。

Q2：HiF-VLA是否有效缓解了传统方法的视觉冗余和效率低下问题？

传统方法面临显著瓶颈：当简单地将历史多帧图像堆叠输入模型时，峰值GPU显存占用直接翻倍至63.6 GB，推理延迟更是暴增到229.5 ms。更值得注意的是，由于引入了海量冗余的静态背景噪声，模型性能反而受到干扰，平均成功率不升反降。

而HiF-VLA的解决方案则更为精巧：它将历史帧编码为低维、结构化的运动向量。引入后见之明模块后，面对同样长度的历史窗口，峰值显存仅维持在31.4 GB，相较于基线模型几乎实现了“零开销”增长。同时，推理延迟也远低于传统堆叠方法。最关键的是，在剔除了视觉冗余后，模型能更专注地理解物理运动规律，从而大幅提升了长程任务的平均成功率。

Q3：随着时间跨度增加，HiF-VLA在推理时的可扩展性如何？

答案是：它成功避免了指数级成本增长，突破了长序列计算瓶颈。从推理效率对比图中可以清晰看到，随着历史时间跨度增加，传统堆叠图像帧的方法会遭遇指数级计算延迟暴涨甚至显存溢出。而HiF-VLA凭借提取低维紧凑的运动特征，彻底打破了这一瓶颈。无论历史观测窗口多长，它都能保持稳定且极低的推理延迟，展现出了卓越的时间可扩展性。

Q4：HiF-VLA所谓的「边想边做」过程是如何可视化的？

可视化结果提供了有力证明。在执行动作的同一时刻，HiF-VLA内部的联合专家模块已经精准预测出了由箭头标识的未来视觉运动场。这证实了模型并非在盲目执行指令，而是真正实现了“边想边做”。它能清晰预判自身动作将引发环境中怎样的物理状态变换，从而在复杂长程任务中展现出精准的“物理直觉”。

04 总结与展望

从机械的“动作模仿”进化为理解物理规律的“世界动作模型”，HiF-VLA迈出了关键一步。它证明，机器人的动作生成不应只是对指令的被动响应，而应当是在对过去的记忆、当下的洞察与对未来的预判共同作用下，一种符合物理规律的主动决策。对于推动具身智能走向更复杂、更真实的物理世界，HiF-VLA无疑提供了一个极具潜力与启发性的全新范式。