具身智能大模型正式迈入具身原生新阶段

再过几天，WAIC 2026 就将在上海拉开帷幕。作为今年规模最大的两大板块之一，具身智能展区预计将汇聚超过两百家企业。而近两年，围绕具身智能的“大脑”究竟该如何构建，技术路线的争论几乎从未停止。 就在今天，蚂蚁灵波给出了一个全新的解决方案：**LingBot-VA 2.0，行业首个“具身原生”预训练模型**。 - 技术报告：Native Video-Action Pretraining for Generalizable Robot Control - 报告地址：https://github.com/Robbyant/lingbot-va/blob/main/LingBot_VA2_paper.pdf - 项目页面：https://technology.robbyant.com/lingbot-va-v2 它基于自回归视频生成模型从零开始预训练。核心思路可以浓缩为一句话：让模型一边推演世界的下一步变化，一边同步生成对应的动作——简单来说，就是“边推演、边行动”。为了做到可用、通用、好用，蚂蚁灵波在训练目标与推理机制上进行了一整套系统设计。 ## LingBot-VA 2.0 总览 ### 行业首个“具身原生”预训练模型 具身智能的预训练目标，与普通视频生成模型有着本质差异。 普通视频生成模型学到的是**相关性**。给定几帧画面，它能推测出其他画面“通常”会是什么样。但具身智能需要的，是**因果性**。 当前大多数数字世界模型和视频生成模型采用双向建模，训练时可以同时利用过去和未来的信息；而机器人执行任务天然是单向的——它只能基于当前观测和历史状态，来决定下一步动作。只有完美实现因果性预测，机器人才谈得上自主决策，而不是被动响应。因此，LingBot-VA 2.0 将因果建模置于预训练目标的核心位置。 **LingBot-VA 2.0 是行业首个具身原生预训练模型，实现了预测范式与执行范式的对齐。** 虽然预训练难度更高，但模型从一开始就遵循机器人真实的执行逻辑进行学习——它理解动作如何影响环境，并驱动世界状态持续演化。 ### 新一代 VAE：“语义”与“动作”的对齐 机器人执行任务时，一端是“理解指令”，另一端是“生成动作”，二者之间的落差是具身模型的通病。 问题往往出在视觉的 tokenizer 上。VAE（变分自编码器）负责将连续的视觉信号压缩为模型可处理的离散表示，其压缩质量直接决定了模型在视觉层面能否同时抓住“语义”与“动作”。 **LingBot-VA 2.0 引入新一代 VAE 架构**，改进的正是这一衔接环节：在压缩视觉信息时，就让“语义”与“动作”彼此对齐。结果是模型对文本指令的响应显著更准确，“理解一句指令”能够更顺畅地转化为“完成一串动作”。 语义视觉 - 动作分词器 LingBot-VA 2.0 为了解决模型对世界的理解和动作控制对齐的问题，采用了**语义视觉 - 动作 tokenizer**——一个 ViT 自编码器。在标准的重建目标（像素、感知、对抗三项损失）之外，它额外增加了两个目标： - **语义对齐**。团队拿一个冻结的感知编码器当“老师”，在压缩视觉信息的同时，让隐变量向老师的特征靠拢。这样既吸收了片段级的语义，又保留了逐帧的细节供重建，语义远比纯重建的隐变量丰富。 - **隐动作抽取**。冻结视觉 tokenizer 后，团队训练了一对逆动力学模型（IDM）和前向动力学模型（FDM）。IDM 从相邻两帧的隐变量里解出一个低维的“隐动作”；FDM 反过来验证：给定当前帧和“隐动作”，能否重建出下一帧。 关键在于，这一步全程不需要任何动作标注。哪怕是一段没有标签的网络视频，也因此携带了“动作相关”的监督信号。tokenizer 最终吐出的，是一对配好的视觉 - 动作隐变量，直接成为视频 - 动作模型的训练目标。世界状态和动作被放进了同一个语义隐空间，“看懂一句指令”到“做出一串动作”的转化，自然顺畅了许多。 ### MCP：更远的预测视野 预测世界的下一步，与生成动作，其实是同一件事的两面。让模型真正理解“我的动作会如何改变世界”，才是真正的目的。 不过，从零训练一个视频 - 动作模型，还藏着一个隐蔽的陷阱。 模型用教师强制（teacher forcing）训练，每个片段都基于真实历史来预测。标准做法只监督“下一个块”。可在高帧率下，相邻两个片段的画面往往非常相似。模型为了降低损失，趋向于直接把上一帧的外观照抄过来。这种“近视”的监督，会让模型停留在短期视觉连贯上，无法学到真正的物理动力学。 LingBot-VA 2.0 借鉴团队之前提出的 Next Forcing 思路，引入**多块预测（Multi-Chunk Prediction，MCP）**来改善这一问题。 多块预测（Multi-Chunk Prediction，MCP） 训练时，主干 DiT 之上挂三个轻量的辅助模块，每个负责一个更远的预测视野（默认预测未来 3 个片段）。它们不是各管各的，而是串成一条因果链：第一个模块消费主干若干层融合后的中间特征，越靠后的模块越依赖前一个的输出，**让近处的预测去指导远处的预测。** 这样一来，来自远处片段的梯度会顺着这条链回流到主干，强制性地把隐变量组织成“轨迹级的动力学”，从而避免短期视觉连贯。 这一步带来的收益相当可观。在 RoboTwin 上，开启 MCP 的版本收敛更快、最终成功率也更高。在 50fps 的高帧率设置下，训练 5k 步时它就比基线高出 29.7 个百分点，而且只用 20k 步就追平了基线跑 45k 步的精度——相当于 2.3 倍的训练加速。 更巧妙的是，MCP 只在训练期起作用。部署时，这些辅助模块可以直接丢弃，主策略靠训练时积累的表示照样受益，不增加任何推理开销；也可以选择保留，用来并行预测下一片段，进一步降低闭环控制的延迟。 ### 全新的高效推理策略 #### Foresight Reasoning：更好的异步推理策略 传统的机器人控制遵循一个固定循环：观察、推理、执行、再观察。问题在于“推理”与“执行”是串行的——模型的思考和行动有着严格的先后顺序。模型的延迟，会原封不动地变成控制的延迟。 LingBot-VA 2.0 把这条链路拆成两条异步推进的“流”： - **预测流**，模型在这里预测未来的视觉隐变量以及从中解码的动作； - **执行流**，机器人在真实世界里执行当前的动作片段。 当机器人正在执行动作 a_t 时，预测流已经启动，在真实反馈回来之前就先把下一个动作 a_t+1 准备好。等 a_t 执行完，a_t+1 已经就绪——模型的思考时间被藏进了机器人运动的时间里。 新手司机往往看到前方情况才踩下刹车；老司机则在扫描路面的同时，已经在预判几秒后的变化，手上提前作出调整。Foresight Reasoning 赋予机器人的，正是这种预判能力。 不过，一味往前跑是有风险的。如果预测流一直拿自己“想象”出来的画面继续往下推，模型会顺着这条幻想的轨迹越跑越偏，直到脱离现实、无法挽回。 LingBot-VA 2.0 的解法是“**预测 - 校正**”：每当一帧真实观测回来，就把它编码成真实隐变量，覆盖掉 KV-cache 里那个之前想象的 ẑ_t+1，连同真正执行过的动作一起，重新锚定上下文。下一次预测，就从这份校准过的缓存出发。快的预测流负责往前，每一次真实观测负责校正——异步的同时始终保持闭环。 语言模型里的多流并行搬运的是输入输出，这里的两条流搬运的却是“预测的未来世界状态”，所以必须靠真实观测来校正——这一步在纯语言的场景里是没有对应物的。值得一提的是，前瞻推理是一套推理期的方案，和训练期的 MCP 相互独立，两者可以分别开关。 前瞻推理（Foresight Reasoning）作为一种异步推理 - 执行流程 它带来的直接收益是控制频率的提升，使机器人在物体移动、环境干扰等动态场景中，仍能维持较高的操作成功率与鲁棒性。对于实时性要求极高的任务，这一改动带来的是质变。**机器人不会再因为“正在思考”，而错失稍纵即逝的操作时机。** ### 稀疏 MoE 架构重塑具身模型 预训练一个“懂世界”的底座，需要足够大的模型容量。但为了保证模型的效率，LingBot-VA 2.0 选择**引入了稀疏 MoE 架构**。昨天开源的视频生成模型 LingBot-Video 也使用了相同的策略。 在 LingBot-VA 2.0 中，视频和动作两条流由各自的专家网络处理，共享一套因果注意力。由于视觉动力学承担了绝大部分建模负担，团队把两条流做了非对称的缩放：视频专家在每个因果 DiT 块里，把原本稠密的前馈层换成稀疏路由的 MoE，动作专家则保持稠密。路由沿用了 DeepSeek 系列验证过的稀疏扩展思路，放进因果视频 - 动作 DiT 中。 稀疏训练最怕专家负载失衡——少数专家被挤爆、多数专家闲置。LingBot-VA 2.0 采用了“无辅助损失”的负载均衡：每步训练后，根据各专家实际分到的 token 数量微调一个选择偏置，把过载的压下去、把冷门的顶上来，全程不往扩散目标里注入额外的均衡梯度，避免干扰主任务的优化。 MoE-13B-A1.9B 视频流模型与 Dense-5B 基线模型的训练损失对比 在相同训练时间下，两者损失曲线几乎重合。也就是说，这套稀疏视频流在扩大容量的同时，几乎没有引入额外的优化代价。 ### 推理加速 有了强大的底座和前瞻推理的框架，最后一步是把它真正跑进真实机器人的时间预算里。 第一刀砍在采样步数上。VA 2.0 靠迭代去噪来生成，原本每个片段视频专家要迭代 5 步、动作专家要 10 步。团队把它蒸馏成一个**一致性模型**——蒸馏之后视频和动作专家都压到 2 步，单是这一步就把每片段的推理时间从 927ms 降到 466ms。 接下来是三层推理优化，分别对应推理栈的不同瓶颈： - **模型层**：用 FP8 精度和 TensorRT 编译执行替换原生的 DiT 前向，降到 369ms。 - **序列层**：针对自回归 rollout 越跑越长的注意力开销，用分页/变长 KV-cache 管理配合 FlashInfer 注意力算子，降到 272ms。 - **系统层**：把重复的主机端准备、内存分配和同步开销摊薄，最终压到 142ms。 推理加速。图中比较了不同加速技术下的推理时间以及异步控制频率 一路做下来，端到端推理时间从最初的 927 ms/片段降到 142 ms/片段，异步控制频率从 35Hz 一路提升到 225 Hz，**实现了 6.5 倍的端到端推理加速**。对机器人而言，这是“能演示”和“能干活”之间的差距。 ### 实验结果 上述设计叠加在一起，最终落到了一组颇具说服力的结果上。 在双臂操作基准 RoboTwin 2.0 上，LingBot-VA 2.0 在干净和域随机两种设置下都取得了最好成绩，**平均成功率达到 93.6%**。更值得关注的是其稳健性：从干净环境切换到域随机环境，成功率只下降了 0.4 个百分点——这意味着在视觉和物理条件变化时，模型依然能稳定地完成任务。 RoboTwin 2.0 双臂操作成功率（%） 真机上的表现同样如此。团队在一套覆盖日常操作的自建基准上，每个任务仅采集 20 条遥操作示范，训练出一个通用策略，然后将同一个模型部署到所有任务。 真实世界部署结果。展示了在多项真实世界任务上的任务成功率和任务进展率，并将 LingBot-VA 2.0 与具有代表性的基线方法进行了对比 结果显示，LingBot-VA 2.0 在成功率和任务进度上都取得了不错的成绩，而且优势在那些需要长程视觉追踪、闭环纠错的任务上最为明显。这正是视频 - 动作预训练和前瞻推理发挥作用的地方——它让策略能从执行中途的失误中恢复过来。 最后，从四个场景中，可以直观地看到 LingBot-VA 2.0 在真实机器人任务中是否也能展现出稳定的执行能力。 LingBot-VA 2.0 甚至可以控制机器人横向捏起薯片而不会捏碎——这种精细的粒度控制，仅凭视觉信息的输入就能实现。 同时控制多个机械手进行协作交互，完成流水线装箱和日常收纳任务也不在话下。LingBot-VA 2.0 高频次的预测推理、准确的运动预测和实时控制部署能力，让这一切成为可能。 另外一个小亮点是，LingBot-VA 2.0**支持情境学习**。仅凭一段人类演示视频，无需任何参数更新和重新训练，机器人就能推断出操作过程，并将其迁移到新的物体和未见过的任务组合上。 ### 决定未来的能力上限 理解了 LingBot-VA 2.0 的技术选择，再把视野放大到整个模型体系，以及它在行业中的坐标，才能看清它的分量。 过去两年，具身智能的竞争主要发生在“颈部以下”——本体、关节、灵巧手、运动控制一路狂奔，机器人学会了翻跟头、跑马拉松、端茶倒水。硬件的门槛在快速降低，产业链在快速成熟。但真正让智能走进物理世界、自主交互、自主完成任务，是另一个量级的问题。 后者的关键，落在“颈部以上”的“大脑”上：它能否跨本体、跨任务、跨场景地复用，能否在真实物理世界里稳定地完成任务，能否把每一次落地的反馈沉淀为自身能力的增长。当行业的竞争重心从本体转向大脑，真正的分水岭，也从“谁的机器人更灵活”变成了“谁的模型更懂世界”。 蚂蚁灵波给出的回答干脆而彻底：不在他人的地基上打补丁，而是重新奠基，把物理因果从预训练的第一步就浇筑进去。这条路更艰难、周期更长，却指向具身智能能力的上限。 **“通用嫁接”承接的是今天。** 它站在多模态大模型的肩上，成熟、可用、真机验证充分，是当前最能规模化落地的路线。**“具身原生”决定的是明天。** 它不借用任何现成模型的底座，从第一步起就为物理世界重新训练，天花板更高。 2026 年 1 月，LingBot-VA 第一代开源时，“视频预测与动作生成的统一”还是一个相对前沿的方向。 我们知道，在具身智能的大模型领域有很多顶级参与者。英伟达 Cosmos 持续迭代世界模型用于机器人仿真，Google 的 Gemini Robotics 系列探索多模态大模型直接输出动作，Physical Intelligence 则在不断提升 VLA 的高度。不同团队从不同起点出发，却在收敛到“世界动作模型”的判断上逐渐趋同：机器人的“大脑”终究要在视频级的物理理解和连续动作生成之间建立更紧密的联系，单靠语言模型的语义或单靠视频生成的预测，都不够。 LingBot-VA 2.0，恰恰是在行业逐渐明晰的路径中跨出更关键的一步，一点点探索这条路径的无限可能。 蚂蚁灵波首席科学家沈宇军博士在智源大会上提到，**基座系列模型底层框架有三层**： - **底层是空间感知**：包含视觉感知和触觉感知等。机器人活在物理世界中，需要传感器获取原始的物理信号——这是探索空间智能的第一步； - **中层是动作执行**：机器人在物理世界中最终是要“干活”的。因此，中间一层必须落实到具体的“动作”上，因为只有动作才能与物理环境产生真正的交互； - **顶层是环境反馈**：团队正在积极探索如何为机器人提供虚拟的“训练场”和高效的“仿真评测”环境。 LingBot-VA 2.0 所开创的“具身原生”路径，能够从源头回应这一挑战。预训练数据、训练目标、模型架构从第一步就围绕“物理世界中的因果交互”来设计，模型对物理规律的掌握将更深、泛化的天花板将更高。 无论最终形态如何，具身智能的“大脑”都需要满足几个硬性条件：能够在真机上高频闭环控制，能够从少量数据快速适配新场景，能够在物理条件变化时保持稳定，以及能够把每一次部署沉淀为模型能力的增长。这些条件，本质上都在推动模型**从“通用迁移”走向“具身原生”**。LingBot-VA 2.0 选择走在了这条路径的前面，而它所探索的方向，已经成为越来越多团队的共识。 当然，“具身原生”仍需更多、更长时间尺度的检验。LingBot-VA 2.0 是这条漫长道路的一个新起点。就像今天的语言模型花了数年才让机器真正“读懂”文字，智能走进物理世界的进程，才刚刚翻开第一页。