别再让AI直接进厂打螺丝智源悟界Orca先教模型理解世界

如今，AI在“输出”方面已经相当擅长。

语言模型凭借预测下一个token的能力，可以回答问题、撰写文章、编写代码；图像与视频模型通过预测下一帧，不断生成更加逼真的视觉内容；具身模型则专注于预测下一步动作，让机器人逐步掌握抓取、放置、整理等技能。这些能力各有特色，但共同指向一个更深层次的问题：模型究竟只是在学习某一种特定的输出形式，还是已经真正理解了世界状态本身的变化规律？

由智源研究院悟界·RoboBrain Orca团队发布的技术报告《Orca: The World is in Your Mind》，正是针对这一命题展开探索。该报告的项目主页和论文已在arXiv上线，一经发布便迅速引起海外研究社区的热烈关注。众多研究者将讨论聚焦于“真正的多模态表征世界模型”这一概念——Orca并非简单地将文本、图像、视频和动作拼接，而是尝试在一个统一的世界潜空间中，学习它们背后共同的状态与演化规律。也有评论认为，Orca更接近于早期通用世界模型的原型：首先掌握世界如何变化，再将这种表征应用于理解、预测和行动等任务。

△ Orca在海外研究社区引发讨论：涉及多模态表征、世界状态建模，以及早期通用世界模型的可能形态

与此同时，Orca成功登上了Daily Papers月度榜单，并在Hugging Face、X等社区持续吸引关注。可以说，世界模型正成为AI研究下一阶段一个持续升温的重要方向。

△ HF论文月榜排名第一

从Next Token, Frame, Action Prediction 到 Next-State Prediction

悟界·RoboBrain Orca并非一个更擅长聊天的通用大模型，也不是单纯追求视觉真实感的视频生成模型，更不是仅面向机器人的动作策略模型。它选择了一条更为基础的路线：首先让模型学习统一的世界状态表征，然后从这个表征中解读出理解、预测和行动的能力。换句话说，Orca关注的是：当前世界处于何种状态，以及这一状态在自然演化、事件条件或外部干预下，如何转移到另一种状态。这正是Orca团队所探索的Next-State Prediction。

Orca团队用一个比喻来解释这一工作：“我们不会让一个3岁小孩进工厂，打10万小时螺丝。”这句话不仅针对机器人，也道出了当下许多AI模型的共同处境——语言模型被训练去预测下一个词，视频模型被训练去生成下一帧，具身模型被训练去模仿下一步动作。虽然任务看似不同，但底层逻辑相似：一开始就将模型置于某个特定任务中，让它围绕一种输出反复练习。这种方式固然有效，但问题是，一个尚未理解世界的模型，真的能仅靠“打螺丝”走向通用吗？

Orca团队的判断是：顺序可能需要反过来。与其急于让模型学习“下一步怎么动”，不如先让它接受一堂关于世界的“义务教育”课程。

先利用多模态世界信号学习好世界表征，再以此为基础完成一切任务。这正是Orca的核心哲学：The World is in Your Mind。

悟界·RoboBrain Orca如何学习世界变化？

人类在学会说话之前，就已通过观察学习客观世界，例如风吹叶落；在成长过程中，又可以通过一句话、一本说明书来感知和理解具体事件。Orca将这些过程抽象为两类互补的学习方式：无意识学习和有意识学习。

第一类是无意识学习。模型从连续视频中学习自然、稠密的状态变化，无需依赖显式的语言标注。例如，一个物体如何移动，手与物体如何接触，场景如何随时间演化。这类学习对应真实世界中大量的连续观察，帮助模型捕捉自然动态。

△ 图片为AI生成

第二类是有意识学习。模型引入语言和事件，使状态转移不仅来源于连续观察，还可受到语义条件的约束。语言可以描述一个事件、一个任务意图，或一个要达到的目标状态。模型需要在当前观察和语言条件之间建立联系，学习稀疏但更有意义的状态变化。

这两类学习共同服务于同一个目标：构造一个能够表达世界状态、并支持状态转移建模的world latent。

12.5万小时视频、1.6亿事件助力模型学习世界

Orca团队构建了自动化筛选与标注管线，从海量互联网数据中处理后，获得了12.5万小时视频、1.6亿条事件标注和1150万条VQA的数据资源。这些数据共同构成了Orca学习状态转移的基础。

这些数据覆盖了第一视角交互、第三视角物体操作、机器人执行视频、自然动态场景、事件级状态转移以及通用视觉问答等多种来源。也就是说，Orca并非仅在机器人轨迹、图像编辑任务或单一问答数据上训练，而是从更丰富的真实世界信号中，学习统一的世界潜空间。

基础设施优化：FlagScale带来4.4倍加速

智源团队基于自研的FlagScale框架进行了系统级重构：FSDP2升级实现了更灵活的参数与优化器状态分片，并对轻量级视觉块取消分片以减少调度开销；分块交叉熵损失（Chunked Cross-Entropy Loss）避免在前向传播中一次性实例化完整的Logits张量，大幅降低显存峰值；前向/后向预取（Forward/Backward Pre-fetching）让FSDP的All-Gather通信与当前层的计算充分重叠。在H100集群上，这些优化将训练吞吐量从StarVLA基线的0.66提升至2.91 Samples/Sec/GPU，实现了4.4倍的显著加速。

One for All：一个World Latent，统一承载理解、预测与行动

世界表征听起来很吸引人，但真正重要的问题是：它能否被验证？Orca的实验设计围绕两个核心问题展开：第一，随着预训练数据增加，world latent是否会变得更强？第二，一个更强的world latent，能否带来更好的下游能力？

为了回答这两个问题，团队并未将Orca backbone与下游任务一起端到端训练到最强。相反，他们在下游阶段冻结了Orca backbone，仅训练轻量的readout模块。这一设计至关重要——如果整个系统一起训练，最终效果提升时，很难判断是Orca的world latent起了作用，还是后面的decoder或policy自己重新学会了任务。但如果backbone保持冻结，仅更换不同的轻量读出接口，仍能读出语言、图像和动作能力，就能更有力地证明：真正提供信息的是Orca学到的世界表征。

因此，Orca设计了三类readout：文本读出，用于验证模型能否将世界表征转化为理解和推理能力；图像读出，用于验证模型能否根据当前状态和条件，预测未来视觉状态；动作读出，用于验证模型能否将世界表征迁移到真实机器人控制中。这三类能力分别对应：理解、预测、行动——这正是世界模型最应具备的三项核心功能。

Scaling带来的，是更强的世界表征

实验中有一个重要观察：随着预训练数据规模增加，Orca的训练损失持续下降，并未很快饱和。

更关键的是，从不同训练阶段取出的checkpoint显示：随着预训练推进，文本、图像和动作readout的表现同步提升。这说明Orca探索出了一条具有扩展潜力的世界学习路线。

值得注意的是，所有对比结果均来自同一套预训练主干ckpt，且未使用任何刷榜数据。

文本读出：关注“世界如何变化”

在文本生成和视觉问答任务中，Orca与多类视觉语言模型和世界模型进行了对比。结果显示，在4B规模下，Orca在多项综合评测中取得了更高的平均表现。但更值得关注的是，它的提升并非平均分的简单堆叠，而是集中体现在状态转移、事件演化、动态运动理解等维度上。这高度契合Orca的出发点：让模型理解画面中的事物接下来如何发展、事件之间如何推进、当前状态与未来状态之间存在何种关系。对于一个世界模型而言，这比普通视觉问答更为关键——因为真实世界并非静态图片的集合，而是一个持续变化的系统。

图像读出：不是成为一名“画家”，而是为了预测得合理

这与传统图像生成截然不同。许多图像模型擅长生成视觉上精美、符合先验的画面，但真实交互预测要求模型尊重当前场景、物体关系、动作条件和物理约束——它不能随意补出一个看起来合理但现实中不存在的物体，不能让机器人本体消失，不能破坏原有的空间关系，也不能忽略指令真正要求的状态变化。

在真实交互场景中，Orca的图像读出更强调“未来状态是否合理”。它能更好地保持机器人形态、物体布局、场景一致性和指令约束，生成更符合真实交互过程的下一状态。因此，Orca展示图像读出，并非为了证明自己会“画图”，而是将图像作为一种可视化验证手段：模型是否真正知道，当前世界在特定条件下应该变成什么样子。

△ 现有图像生成模型存在指令不遵循、凭空出现物体和人手，以及刻板的物理印象等问题

最惊喜的是具身：预训练没看过Action，也能帮机器人

悟界·RoboBrain Orca最值得关注的实验之一，来自真实机器人动作读出。在预训练阶段，Orca并未使用带有action label的机器人轨迹——也就是说，它没有提前学习某个机械臂应该如何移动，也没有在大规模动作数据上模仿机器人策略。但在下游动作任务中，团队冻结了Orca backbone，仅接入一个从零开始训练的DiT-style Action Expert。每个任务仅使用200条域内轨迹进行后训练。

从二元成功率、白盒过程打分和黑盒模型打分的结果来看，在物体泛化和场景泛化的OOD任务中，Orca仍然能带来明显的性能增益。这一案例的重要意义在于：Orca并非通过预训练直接记忆机器人动作，而是先学会了世界状态的变化规律。这一点在失败恢复任务中表现得尤为明显。

三类训练目标，缺一不可

为了进一步分析Orca的能力来源，团队还进行了消融实验。分别移除无意识状态转移、有意识事件转移和VQA语言监督，并观察文本、图像和动作读出的变化。结果显示，三类目标各自承担了不可替代的作用。

悟界·RoboBrain Orca还只是开始

悟界·RoboBrain Orca并不想将自己包装成“世界模型已经完成”的成果。相反，Orca团队在技术报告中充分讨论了当前的局限性。Orca的价值不在于宣称自己已经完整构建了世界模型，而在于为当前纷乱的World Model讨论提供了一个新的坐标系：世界模型不应仅被某一种输出模态所定义。它更应该学习世界如何被表征、如何变化，以及这种表征如何支持理解、预测与行动。

未来，这条路线也不仅限于服务机器人。物理系统、生命过程、宏观宇宙、微观量子、科学实验等，本质上都可能包含状态、干预和转移。不同领域当然需要不同的数据和建模方式，但“学习世界状态如何变化”这一问题本身，具有更基础的意义。AI的下一步，或许不是更快地输出答案、生成画面或执行动作，而是先在内部建立一个足够稳定、可预测、可迁移的世界。

The World is in Your Mind.

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：别再让AI直接进厂打螺丝智源悟界Orca先教模型理解世界要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题