浙大与阿德莱德大学联合开源解耦式视频世界模型
LiveWorld是一种解耦式视频世界模型，将全局世界演化与相机视角渲染分离，使物体在视野外仍能自主运动，保证长时序一致性。配套LiveBench数据集专用于评估视野外动态与跨视角连贯性，在机器人仿真、自动驾驶等场景具有重要价值。
先说几个关键判断：当前主流的世界模型，在技术演进中普遍存在一个硬伤——物体一旦离开相机视野，便会像被按下暂停键一样，彻底静止不动。然而，LiveWorld 这一全新框架，恰好打破了这一局限。
它来自阿德莱德大学、浙江大学、澳大利亚国立大学等多个团队的联合研究成果，核心思路极为简洁清晰：将 4D 世界的演化逻辑与相机视角的渲染过程彻底解耦。简单来说，就是先构建一个能够持续、自主运转的全局世界状态，然后在任意时刻、任意视角“架设一台相机”进行拍摄。物体离开了镜头？没关系，它依然按照物理逻辑自行演化。相机再转回来？状态已经同步更新完毕。
这套逻辑，为长时序场景下的全局一致性提供了一种扎实的工程解决方案。
一、LiveWorld 核心概念解析
简单定义一下：LiveWorld 是一个解耦式生成视频世界模型。其创新点并不在于生成多清晰的单帧画面，而在于“世界状态”独立于相机视角持续演化。项目还同步推出了行业首个针对视野外动态评测的基准数据集——LiveBench，专门用于量化模型对镜头外事件推演、三维空间一致性以及长时序连贯性的生成能力。
目前，仓库处于代码与基准数据集分阶段发布筹备阶段，正式版尚未完全铺开。
二、使用指南
2.1 环境前置要求
- Python 3.9+，CUDA 11.8/12.1，显存≥16GB（推理最低8GB）
- 依赖库：PyTorch、Transformers、Open3D、Diffusers、Pillow、Matplotlib
2.2 仓库克隆与安装
git clone https://github.com/ZichengDuan/LiveWorld.git
cd LiveWorld
conda create -n liveworld python=3.10
conda activate liveworld
pip install -r requirements.txt
2.3 基础推理流程
- 下载预训练权重与LiveBench数据集（仓库Release板块更新中）；
- 修改
config.yaml配置文件，设置场景路径、相机轨迹、推理帧数； - 执行单场景视频生成：
python inference.py --ckpt ./pretrain/liveworld.pth --scene ./data/demo_scene --output ./result
- LiveBench评测：
python eval_livebench.py --bench_root ./livebench --model_ckpt ./pretrain/liveworld.pth
2.4 自定义场景输入
支持传入单张初始场景图及文本事件脚本，配合自定义相机移动轨迹文件，生成任意时长的连续动态视频。整体灵活性相当高，可适应多种复杂场景需求。
三、竞品对比分析
我们选取了三款主流的开源相机可控世界模型进行横向对比——Matrix-Game-2.0、Hunyuan-GameCraft-1.0、Spatia。结果一目了然：
| 对比维度 | LiveWorld | Matrix-Game-2.0 | Hunyuan-GameCraft-1.0 | Spatia |
|---|---|---|---|---|
| 核心架构 | 世界演化与相机渲染解耦 | 世界与相机耦合建模 | 单视角视频自回归生成 | 空间增强耦合扩散模型 |
| 视野外动态支持 | ✅ 原生支持，物体自主演化 | ❌ 镜头外物体冻结 | ❌ 仅可见区域更新 | ❌ 短时记忆，长时序失效 |
| 专属评测基准 | 自带LiveBench视野外动态数据集 | 无针对性基准 | 通用视频画质指标 | 空间对齐单项评测 |
| 长时序一致性 | 优秀，全局状态持久记忆 | 较差，远距离重访物体错位 | 中等，30帧以上逻辑崩坏 | 一般，跨视角物体易混淆 |
| 适用场景 | 机器人仿真、自动驾驶、开放世界 | 短视频游戏画面生成 | 实时游戏镜头渲染 | 室内短镜头3D视频生成 |
| 开源进度 | 代码与基准逐步发布 | 完整开源 | 推理代码开源 | 权重开源 |
| 核心短板 | 当前权重未完全上线，大显存需求 | 无全局世界记忆，无法长时序推演 | 仅支持短镜头，无视野外推演 | 多物体交互逻辑弱 |
差距最显著的地方在于：其他模型在视野外是“盲区”，而LiveWorld则是“暗区”——物体信息并未消失，只是你暂时没看到它正在运动。
四、常见问题解答（FAQ）
Q：LiveWorld和普通文生视频模型（如Sora、CogVideoX）最核心的区别是什么？
A：普通文生视频模型生成的是单段连续镜头，世界状态与相机视角绑定。而LiveWorld先构建一个独立演化的全局4D世界，再按需渲染任意相机视角。镜头外的物体不会静止，这一特性在仿真、机器人规划等任务中构成了根本性差异。
Q：LiveBench是通用大语言模型评测基准吗？
A：不是。LiveBench是专为视频世界模型设计的评测数据集，聚焦于衡量视野外动态和跨视角空间一致性。虽然名称与AI大语言模型领域的一个独立评测基准重名，但两者毫无关联。
Q：本地运行LiveWorld最低硬件配置要求如何？
A：推理最低需要8GB显存，完整训练建议使用24GB及以上NVIDIA显卡。CPU仅支持轻量化可视化操作，无法完成完整的视频生成与评测流程。
Q：仓库显示代码正在发布中，何时能获取完整权重？
A：项目说明中标注为“Code and benchmark release in progress”，完整预训练权重和LiveBench数据集将分批次在GitHub Release页面推出，请关注仓库状态更新。
Q：能否输入自定义3D场景模型作为初始环境？
A：支持。项目内置Open3D加载模块，可以导入GLB/OBJ格式的静态3D场景作为初始背景，再配合文本脚本定义物体的动态规则。
Q：模型生成视频出现物体身份错乱，该如何优化？
A：在配置文件中开启entity_id_tracking实体跟踪模块，适当调大时序对齐损失权重，同时缩短单次推理帧数，以减少长时序误差累积。
Q：LiveWorld是否支持多智能体同时观测同一个世界？
A：原生支持多相机并行渲染。多个智能体可各自独立视角读取同一套全局演化世界状态，非常适合多机器人协同仿真场景。
五、相关链接
- GitHub仓库地址：https://github.com/ZichengDuan/LiveWorld
- 论文预印本地址：https://arxiv.org/abs/2603.07145
- 项目官方主页：https://zichengduan.github.io/pages/LiveWorld/index.html
- HuggingFace模型库：https://huggingface.co/ZichengD/LiveWorld
六、总结
可以确定的是，LiveWorld是目前从架构层面解决视频世界模型视野外动态缺失问题的最佳方案之一。通过解耦全局世界动力学与相机视角渲染，它让物体在镜头之外依然能够自主演化。配套的LiveBench评测基准也填补了长时序、跨视角世界一致性标准化评估的空白。
与传统的耦合式视频生成模型相比，它在机器人仿真、自动驾驶数字孪生、开放世界内容生成等工程场景中，具备不可替代的实用价值。待完整开源代码与数据集上线后，将为4D世界建模、具身智能领域提供真正可落地的研究工具。
你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：浙大与阿德莱德大学联合开源解耦式视频世界模型要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题
游乐网为非赢利性网站，所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系youleyoucom@outlook.com。
相关热点面壁智能聚焦端侧AI，不拼参数大小，而是通过知识密度提升与模型风洞技术，将大模型压缩至手机、汽车等设备。其MiniCPM以2B参数超越同期8B对手。CTO曾国洋22岁主导训练中国首个大语言模型CPM-1。端侧AI追求“默契系统”，在用户开口前预判需求，已在吉利、上汽大众等车型落地应用。
印度IT巨头HCLTech投资最高350亿卢比建设AI数据中心，容量可扩展至50MW，提供从设计到运营的端到端服务，旨在满足政府及企业日益增长的算力需求，抢占印度快速增长的数据中心市场，并推动AI基础设施布局。
小米具身机器人在汽车工厂自攻螺母上件工站实现双侧作业成功率98%，接近人工水平。同时在新工站分别达到90%成功率，从单一操作拓展至多工站协同，验证了具身智能在复杂工业环境的落地能力。
全球AI行业正迎来新的财富格局，DeepSeek创始人梁文锋凭借其公司的迅猛发展，个人财富急剧膨胀，一举超越多位硅谷知名人物，成为全球AI公司领域的新首富。以下将详细解析其身价飙升背后的关键因素及公司发展历程。 一、身价飙升至360亿美元，超越多位AI大佬 根据最新彭博亿万富豪指数，DeepSeek
- 日榜
- 周榜
- 月榜
热点快看