世界模型教练VLA：原力灵机DW0.5将强化学习搬进虚拟世界

代码Agent近年来为何演进如此迅速，堪称AI领域的引领者？

这得益于其自身具备的完整闭环能力！

代码Agent能够实现自动执行、自动验证与自动反馈。编写代码后运行即可判断对错，奖励信号非常清晰明确。这为模型后训练阶段的自反馈闭环创造了绝佳条件。

同样作为AI领域的焦点，具身智能却缺乏这种先天优势。

它面对的物理世界远比代码Agent所处的环境复杂，且难以获得即时验证。它所接收的信号不像代码那样，可通过编译器简单判定；这些信号模糊、采集成本高昂，每一次真实机器人试错都意味着大量的人力与硬件资源损耗。

VLA（视觉-语言-动作模型）是具身智能领域最早受到关注的技术路径。但很快，业界发现该技术存在物理理解缺失、泛化能力薄弱、长时序任务及规划能力不足等局限，难以实现“一家独大”的全面覆盖。

在探索陷入瓶颈时，世界模型逐渐成为行业内的新焦点。然而，世界模型似乎也并非万能解决方案（至少从当前阶段来看情况如此）……

诸多方案均不尽如人意，具身智能究竟该何去何从？

对此，原力灵机相关负责人表明了立场：

给技术路线贴标签，这种做法非常不明智。应当以目标为导向——你要解决什么问题，就选择相应的方法去解决，而非强调自己属于某个流派或方法，非要证明自己才是标新立异的那一个。

据他介绍，大约在今年春节前，原力灵机便意识到可将世界模型作为后训练流程的一部分。半年时间转瞬即逝。本月，原力灵机正式发布了旗下首款具身世界模型DW0.5，并将其集成至世界模型驱动的具身智能后训练框架DFOL2.0中。

“这套基础模型支持多模态输入，涵盖任务指令、图像与视频，还能指定机器人类型。我们可以依据历史动作，预测后续视频状态。”原力灵机联合创始人汪天才表示。

他介绍说，DW0.5利用上万小时的真实机器人、多视角数据进行联合预训练，具备强大的仿真能力，能够生成多种场景画面。不仅能生成机械臂正常作业的视频，即使参考错误动作，也能还原任务失败的场景，从而支撑DFOL2.0框架的在线强化学习训练。

DW0.5作为一个高保真仿真器，将强化学习引入了虚拟世界。VLA先提供候选动作，DW0.5在虚拟环境中预演未来，评估成功、失败与偏离风险，再将可用反馈回传给强化学习。根据其披露的数据，该流程可使后训练中的真实机器人数据需求骤降60%，整体训练成本降低40%。

具身智能行业亟需低成本反馈闭环

要理解DW0.5，首先需要看清它解决了哪些行业痛点。

具身智能属于物理AI范畴，其目标是让机器人在不同环境、物体和失败条件下持续提升能力。然而，后训练飞轮一直难以有效运转。

真实机器人一次rollout需占用机器人设备、场地和人力，一次动作失败就可能导致任务中断；人工反馈虽更接近真实判断，但难以高频覆盖每个中间状态；仿真环境成本确实较低，但现实中的接触、遮挡、反光、形变和不确定性又很难被完全复刻。

基于这一现实，原力灵机从技术角度提出了判断：VLA需要一个介于真实机器人、人工反馈和传统仿真之间的训练环境。这个环境最好成本低廉、能支持高频探索，并且更贴近真实操作流程。

随后，一种新的方案被构想出来：利用真实Rollout数据校准世界模型，世界模型支持低成本、大规模的环境与数据生产，新的策略模型再回到真实环境进行验证和数据收集。

DW0.5正是承担了原力灵机VLA模型（DM0.5）后训练中Learned Environment的角色。

DW0.5三大专家模块重构仿真逻辑，全方位提升泛化能力

DW0.5能够预测动作执行后的未来状态，甚至生成失败轨迹，并对任务进度进行评分。具体而言，它由Video Expert、Action Expert、Value Expert三大专家模块构成能力链路。Video Expert与Action Expert共同服务于动作后果预演，Value Expert负责价值评估与反馈构建。这三个模块的设计思路各有精妙之处。

设计一：Action是强先验，而非软提示

在一些世界模型中，动作信息仅作为附带的条件输入。但DW0.5将动作视为结构性的强先验——它必须明确“机械臂正在向这个方向移动”，才能预测出物理上合理的后续画面。

DW0.5将action作为视频生成的一等条件，通过结构化的帧级对齐强制绑定。在MoT（Mixture of Tokens）注意力机制中，动作序列与视频序列拼接，并利用group-diagonal attention mask切断视频帧与非对应动作之间的信息通路。从结构上，“向左推”和“向右推”的动作，从一开始便走向完全不同的计算路径。

事实上，近期学术界对这一技术趋势有不少探讨，即主流VLA不进行视频预测，仅做observation到action的映射。而DW0.5这类利用视频预测作为辅助监督的模型，理论上能够学习到更强的因果动态理解能力。

设计二：能模拟失败，才配得上称为“仿真器”

仅用成功轨迹数据训练的模型容易形成过强的成功偏置，这样的系统无法识别错误动作，更无法为强化学习提供惩罚信号。同时，失败轨迹数据对于后训练来说价值极高。

因此，DW0.5被明确要求能够生成“做砸了”的视觉轨迹，让Value Expert可以对比成功与失败的差异，给出具有区分度的评分。其数据策略围绕模拟失败进行设计，让模型既学习“应该怎么做”，也学习“做错了，世界会变成什么样”。

团队表示，DW0.5包含四类数据源：

• 具身公开数据与自采机器人数据（包含遮挡、接触、延迟等真实噪声）
• 互联网视频数据（补充开放世界动态）
• Egocentric第一视角人类活动数据（迁移真实物理交互后果）
• 真实机器人及仿真rollout数据（覆盖偏离、卡住、恢复等中间状态）

设计三：Value Expert将未来转化为可训练的反馈

这是DW0.5从“视频世界模型”走向“训练环境”的关键一步。Video Expert模拟动作后果，Value Expert将后果转化为可优化信号，两者结合，才构成完整的强化学习训练闭环。

具体来说，Value Expert对当前状态、候选轨迹或整段rollout给出成功概率或任务价值评估，将稀疏的任务结果信号转化为可在每一步使用的中间反馈。在闭环系统中，它可用于：

• 候选动作筛选：对多个rollout进行评分，帮助VLA选择更可能成功的未来路径。
• 强化学习后训练的reward信号：在世界模型环境中对VLA进行策略优化，无需频繁占用真实机器人。
• 部署时的在线监测：发现当前状态偏离成功路径时，及时触发重新规划或失败恢复。

数据显示，DW0.5的Value-Order Correlation达到95%以上。

三个设计服务于同一个闭环，使DW0.5在VLA的训练和部署中承担离线数据增强与偏好构建、强化学习后训练环境、部署时规划与安全评估三种角色。依托DW0.5训练-调优-部署的全闭环赋能能力，模型在工程化泛化表现方面同样值得关注。

1）高阶指令与多步动作跟随
模型不仅能精准理解“Pick up the hammer, lift it into the air, and hold it steady（拿起铁锤、举至空中并保持稳定）”等高难度多步长指令，还能流畅实现跨构型的动作跟随。

2）多维连续泛化
在面对复杂长尾场景时，展现出了强大的跨环境、跨任务、跨构型的泛化生成能力。

3）多视角强一致性
在模拟生成机器人前视、左腕、右腕等多相机流时，展现出完美的空间与时序一致性。

4）动作-视频生成高度一致性
能够直觉化地理解人类的双手操作视频，并将其流畅且等效地生成为机械臂的操作轨迹。

让世界模型在具身智能产业大规模落地

介绍了这么多架构与原理，最终还是要回到一个问题：DW0.5到底该如何应用？

整体来看，DM0.5作为基础策略模型，DW0.5负责动作后果预演与价值反馈，强化学习将两者连接。基座模型DM0.5先生成一批初始动作，发送给世界模型DW0.5——DW0.5充当仿真器，在虚拟环境中将这些动作可能导向的未来“跑”出来，批量生成成功和失败的轨迹——再由一个强化学习教练员CFG-RL，对每条轨迹的任务进度进行评分（成功的价值一路走高，失败的价值断崖下跌）——评分和奖励实时回传，更新模型权重，训练出一个更强的DM0.5。

在这个循环中，大部分数据由DW0.5在线生成，无需全部依赖真实机器人进行高成本反复试错。

在具身智能的世界里，世界模型终于找到了一个明确的、能够规模化应用于机器人部署过程中的角色！

实践出真知。可以看到，在打气球、晾衣服、叠纸盒等高难度复杂任务中，接入DFOL 2.0的模型相比单纯SFT（监督微调）基线，关键步骤成功率显著提升。

• 打气球任务：“给气球打气”这一步成功率从10%升至90%；“气筒插入气球”成功率从10%跃升至100%。
• 晾衣服任务：“成功挂上衣架”这一长时序操作的SFT成功率仅50%，DFOL2.0加持下翻倍至100%；“衣架塞入衣服”的成功率也从60%提升到了90%。
• 叠纸盒任务：“叠右侧纸盒”和“叠左侧纸盒”两大难点步骤，成功率分别从35%提升至55%和50%。

在评测集方面，DW0.5还在EWMBench、WorldArena等基准测试中横扫榜单，分别以4.73、73.54的分数，斩获全球SOTA（数据截至7月9日）。

在真实部署进展方面，原力灵机表示，DW0.5已在内部跑通具身后训练闭环流程DFOL 2.0，开始承担数据生成、价值评估和策略迭代工作。同时，这套技术能力已接入原力灵机推出的DexDev MaaS（Model As a Service）平台。对于特定具身场景中零样本泛化能力不足的模型，可通过后训练补足能力，并接回平台服务。

值得强调的是，原力灵机反复强调并肯定了真实数据不可替代的价值。“我们只是利用世界模型降低成本，真实机器人数据依然非常重要。在技术演进上，世界模型目前仍需真机数据进行校准。”原力灵机联合创始人汪天才说。

关于世界模型在具身智能领域的应用，还有其他的见解吗？得到的答案是：随着视觉模型能力的不断提升，现场人员可以借助Ego相机采集操作数据，减少对专业真机采集和复杂后训练团队的依赖，从而降低现场后训练的门槛。

那么，就让时间来验证这一答案吧。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：世界模型教练VLA：原力灵机DW0.5将强化学习搬进虚拟世界要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题