面包屑图标 当前位置: 首页
AI资讯
热点详情

全球首个具身专属MoE视频模型现已正式开源

AI热点日报
AI热点日报时间:2026-07-10
热点解读

终于,专属于具身智能领域的视频生成模型正式亮相。 不多赘述,直接来看看它的实际生成效果: 这便是蚂蚁灵波刚刚正式开源的LingBot-Video——全球首个面向具身智能的大规模MoE视频基础模型,也可称为视频物理引擎。 或许有朋友会好奇:像刚才视频里机器人切西红柿、吸床单、收纳口红这些动作,不少视频

终于,专属于具身智能领域的视频生成模型正式亮相。

不多赘述,直接来看看它的实际生成效果:

这便是蚂蚁灵波刚刚正式开源的LingBot-Video——全球首个面向具身智能的大规模MoE视频基础模型,也可称为视频物理引擎。

或许有朋友会好奇:像刚才视频里机器人切西红柿、吸床单、收纳口红这些动作,不少视频生成AI不也能实现吗?

确实可以。但LingBot-Video作为具身智能专属的视频模型,其架构、数据、训练目标全链路都是为机器人和人形智能体量身打造的。

其他视频生成AI更关注时长、画质、美学风格、镜头运动等指标。而LingBot-Video的核心则是:生成内容是否符合真实物理规律。

此外,LingBot-Video还有几大亮点:架构上采用MoE,在模型容量与推理成本之间取得了更优平衡;总参数达30B,推理时仅激活3B;数据方面引入了超过70000小时的具身相关视频,让模型学习机器人操作、导航、第一人称视角等任务场景;训练阶段加入了多维奖励系统,把物理合理性、任务完成度等纳入优化目标。目前已在RBench上超越业内通用视频生成标杆模型。

LingBot-Video一经开源便引发热议,有网友直言:它的能力远不止生成视频,如此大规模的训练让模型对现实世界中的物理交互有了更深刻的理解。

为什么机器人需要专属的视频模型?

这个问题的答案其实很现实且刚需。

通用视频模型的训练目标主要围绕视觉质量、语义对齐、运动连贯展开。人在观看视频时,也更容易被画质、光影、构图、风格打动。

但机器人感知世界的方式截然不同。它不只是“看见”一个杯子,还要判断自己伸手后杯子会如何运动;看到一条路,还要评估走过去是否会撞到障碍物……

因此,内容视频与具身视频本质上属于两套评价体系。

△图片由AI生成

通用模型中偶尔出现的穿模、物体凭空消失、动作违背惯性,对短视频创作来说或许只是小瑕疵。观众最多吐槽一句“AI味太重”。

但若将这些包含物理错误的视频用于训练机器人,问题就严重了——相当于教给机器人一套错误的世界规律:手可以穿透物体、杯子会无端复原、液体能悬浮在空中……

因此,LingBot-Video生成的视频,核心目标就是让机器人的大脑学会真实可靠的物理规律。

例如下面三组工业场景生成视频:

视频中,机械臂在产线上对零件进行抓取、放置、定位,有的还涉及焊接、加工等动作。关键在于末端执行器、工件、工作台之间的相对关系能否在连续帧中保持稳定。这对应着机器人真正需要学习的能力:识别物体、靠近物体、作用于物体,并预测物体状态的变化。

再如更复杂的动态场景:

一个是第一人称滑雪镜头,从雪坡俯冲而下,雪雾、坡面、身体姿态都在快速变化;另一个画面里,人形机器人在雪道上与滑雪者并行绕旗门前进。这类场景考验的是机器人对空间的理解、运动轨迹的预测以及动态环境的建模能力。

还有机器人打排球、踢足球:

排球场上,机器人起跳、挥臂、击球,球沿空中轨迹飞出;足球场上,机器人完成摆腿、触球、射门,球与身体动作之间对应关系明确。这已接近我们期待的具身智能力量——灵活而精确的运动控制。

(LingBot-Video完整能力视频如下)

看完效果后,自然要问:LingBot-Video是如何实现的?

30B的“大脑”,仅3B出手

要让视频模型更懂机器人,第一步是架构设计。

从团队发布的技术报告来看,最引人注目的便是引入MoE架构。为什么这么做?打个比方:传统Dense模型像一个大型办公室,每来一个任务,所有人都要一起上。优点是稳定,缺点是成本高——模型越大,每次调用的开销越高。

而MoE像一个大型专家库,任务来了,不需要所有专家都出手,只调度最相关的一组专家处理。LingBot-Video整体参数量达30B,但由于MoE机制,单次生成仅激活约3B参数参与计算。这样一来,计算成本显著降低,扩展方式也从单纯堆参数变为按需激活。

机器人训练、策略评估、动作规划天然需要大量模拟和试错。如果每次生成视频都要激活全部参数,成本将高得难以承受,这个视频物理引擎也就很难真正落地实用。

具体而言,视频需模拟连续物理世界,处理复杂运动轨迹、三维空间一致性、材质纹理等多样分布;稀疏MoE可以在固定计算预算下扩大参数容量,将总参数规模与每个Token实际激活的计算量解耦。

从实验结果看,MoE30B-A3B在1M Token长度下,相比Dense6B、Dense14B、Dense30B的速度比分别达到1.50×、2.59×和3.18×;同时,稀疏框架仍能保持接近3B规模模型的推理效率。

除架构外,LingBot-Video的另一大技术亮点在于数据。

大语言模型为何能成功?一个重要原因是互联网天然积累了海量文本数据。但机器人没有属于自己的互联网——网上不存在几十亿小时的机器人动作数据。

真实机器人数据需要靠遥操作、真实设备、真实场地一点点采集,成本高、速度慢。仿真数据是一条路,但仿真器中学到的知识在真实世界常面临sim-to-real差距。

LingBot-Video选择了第三条路:将通用互联网视频与具身数据相结合。根据技术报告,模型引入了超过70000小时的具身导向视频素材,覆盖机器人操作VLA、导航、第一人称视角,还包括真实机器人、仿真、开源、第三人称视角,以及人形机器人、四足机器人等平台。

这些数据并非简单拼接,而是在训练流程的专门阶段,针对稀缺但高价值的具身数据刻意采取“少筛选、多保留”策略,防止被海量普通互联网视频稀释。

所有素材均经过五维结构化标注,精准标记物体、材质、动作时间戳、受力交互关系。同时采用课程式五阶段渐进训练,从低清静态图像打底,逐步过渡到高清长时序视频,让模型循序渐进掌握复杂物理交互逻辑。

针对机械操作、精密抓取等长尾场景,团队还通过分布感知采样进行加权强化,补齐小众工业、家用机器人场景的生成能力。

最后还有一个强化学习环节。传统视频模型仅以画面美观度、文本匹配度作为优化目标,对物理逻辑约束不足。而LingBot-Video构建了一套分层强化学习奖励体系,从感知、物理、执行三个维度同步约束生成结果:

感知维度:保障画面清晰度、文字描述匹配度、动态流畅度;物理维度:模型核心优化指标,校验物体不穿透、无凭空消失、运动符合重力惯性、材质受力形变合理;执行维度:校验机器人肢体结构完整、动作流程可落地、任务目标完整完成。

训练采用GRPO组相对策略优化方案,搭配负感知微调规避奖励黑客问题。同时原生支持Action-to-Video动作条件生成——输入机器人动作指令,直接输出后续完整视觉变化,可无缝对接机器人运动规划模块。模型还配套级联精炼方案:先生成480p基础时序画面保证运动逻辑,再精炼至1080p高清画质,平衡推理速度与画面细节。

在评测中,LingBot-Video与NVIDIA Cosmos3、LongCat-Video、LTX-2.3等开源模型进行了对比。结果显示,在TI2V任务上,LingBot-Video在开源竞品中达到SOTA水平,并在general quality与embodied domain两项得分中均位列第一;在T2V任务上,虽general quality排名第二,但embodied domain得分仍领先Cosmos等竞争基线。

此外,LingBot-Video已在RBench上超越业内通用视频生成标杆模型。

视频模型的终点,是机器人大脑的起点

看完效果与评测结果后,可以清晰看到一个信号:LingBot-Video开源这件事,相当于在视频生成赛道中,把另一条路线摆上了台面。

因为如果把视频模型看作世界模型,它的价值就变成了为机器人提供一个低成本、可反复试错的物理世界模拟器。细分下来,大致分为三层。

第一层,Data Engine。机器人真实数据采集成本高、速度慢。如果视频物理引擎能生成足够可信的动作过程和场景变化,就有机会为机器人训练提供更多低成本数据。

第二层,Policy Evaluator。在真实世界试错风险极高,尤其是工业机械臂、人形机器人、四足机器人等系统。视频模型可以在虚拟视觉环境中先运行策略,提前观察可能结果,降低真实测试风险。

第三层,Action Planner。面对真实场景时,机器人可以借助模型预测“执行这个动作后会发生什么”,辅助决策规划与异常预判。技术报告也明确将LingBot-Video定位为面向机器人社区的Data Engine、Policy Evaluator和Action Planner。

至此,LingBot-Video与其他普通视频生成模型的区别便一目了然。

这也是为什么视频模型正从内容创作赛道,外溢到世界模型与具身智能赛道。李飞飞创办的World Labs押注空间智能,试图让AI理解、生成并交互3D世界;LeCun团队的V-JEPA 2则从视频自监督学习切入,探索让模型理解、预测并规划物理世界……这已成为具身智能下一阶段的兵家必争之地。

不过在具身智能专属视频生成模型这件事上,长时序一致性、柔性物体与液体等复杂物理交互、视频预测能力向真实机器人闭环的转化,以及具身视频模型评测标准的建设,都还在持续演进中。

但LingBot-Video至少证明了一件事:视频模型正从内容生产工具,向物理世界模拟器迈进。

也许再往后看,视频生成的尽头,还真不一定是电影。它也可能是下一代机器人大脑的起点。

GitHub:
https://github.com/robbyant/lingbot-video

Tech Report:
https://arxiv.org/pdf/2607.07675

Project Page:
https://technology.robbyant.com/lingbot-video

HuggingFace:
https://huggingface.co/collections/robbyant/lingbot-video

Model Scope:
https://www.modelscope.cn/collections/Robbyant/LingBot-Video

热点追踪提示词
你是一名 AI 行业编辑,请围绕下面这条热点输出一份资讯解读:
热点:全球首个具身专属MoE视频模型现已正式开源要求:
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题
来源:https://www.163.com/dy/article/L1D81DLM0511DSSR.html
开源

游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。

相关热点
AI热点2026-07-10 12:04
AI深度思考时代,人类更需练好基本功,26条原则颠覆认知

AI越先进越依赖精准指令,提示词是驾驭AI的关键。26条原则涵盖简洁性、明确受众、分解任务、角色分配等技巧,帮助将AI从工具升级为协作伙伴。未来竞争在于会指挥AI,提示词成为核心能力门槛。

AI热点2026-07-10 12:04
CUDA二维卷积算子从零完整实现详细教程与代码

基于CUDA从零实现高效二维卷积,通过8×4线程块划分优化共享内存数据转移,并引入预取机制使计算与加载重叠。针对小尺寸卷积核及特征图参数,平均性能达到cuDNN的1 2倍,实现了高效推理。

AI热点2026-07-10 12:03
工业机器人技术应用从入门到精通完整实战教程详解

工业机器人是用于工业领域的多关节机械装置,具有自动性。其发展历经第一代示教再现型、第二代感知型到第三代智能型,逐步集成传感器与人工智能技术。2020年中国机器人产业营收突破千亿元,广泛应用于52个行业大类,重载AGV等创新成果不断涌现。

AI热点2026-07-10 12:03
RAG常见坑实战:如何让人工智能有效考试作弊

企业级RAG知识库搭建存在三大误区:直接硬塞文档导致资料割裂、将大模型设为客服引发幻觉、过度约束限制回答聚焦。正确做法是遵循语义完整性分段,明确大模型为资料编辑角色,用正面引导替代负面禁令。

延伸阅读