昆仑万维开源Matrix-Game 2.0与3D模型，推动AI游戏开发创新

8月12日消息，昆仑万维SkyWork AI技术发布周于8月11日正式拉开帷幕。在为期五天的活动中，该公司将每天发布一款AI模型，全面覆盖多模态AI的核心应用场景。

在首日发布会上，昆仑万维重点推出了其自研世界模型Matrix系列中的Matrix-Game交互世界模型的升级版本——「Matrix-Game 2.0」。据官方介绍，这款新模型在通用场景下实现了交互式实时长序列生成的重大突破。

值得一提的是，为促进交互式世界模型领域的发展，昆仑万维决定将「Matrix-Game 2.0」全面开源。该公司宣称，这是业内首个在通用场景上实现实时长序列交互式生成的开源世界模型解决方案。

据官方介绍，「Matrix-Game 2.0」在实时生成和长序列处理能力方面实现了质的飞跃。相较于前代版本，2.0版本着重优化了低延迟、高帧率的长序列交互性能，能够在多种复杂场景中以25FPS的速率稳定生成连续视频内容，且生成时长可扩展至分钟级，显著提升了内容的连贯性和实用性。

在保持推理速度显著提升的同时，该模型仍然能够准确理解物理规律和场景语义。用户只需输入简单指令，就能自由探索、操控并实时构建结构清晰、细节丰富、规则合理的虚拟环境。

此外，昆仑万维还同步开源了Matrix-3D大模型。该模型能够基于单张输入图像，生成高质量、轨迹一致的全景视频，并直接还原出可自由漫游的三维空间。其生成效果可与李飞飞团队WorldLabs相媲美，同时支持更大范围的探索空间。

Matrix-3D模型由以下核心组件构成：

• 轨迹引导的全景视频生成模块：利用场景Mesh渲染图作为条件输入，通过训练视频扩散模型生成符合给定相机轨迹的全景视频。该模块有效提升了生成视频在空间结构上的一致性，显著减少了遮挡错误和图像伪影问题。
• 双路径全景3D重建模块：提供两种优化路径，可对生成的视频进行超分和3DGS优化，获取高质量3D结构。其中前馈网络路径基于Transformer架构，可直接从生成视频的Latent特征快速预测3D几何属性，实现高效重建。
• Matrix-Pano数据集：包含116K条带有相机轨迹、深度图和文本注释的静态全景视频序列，是一个大规模高质量合成数据集。

目前，这两个模型的开源代码已发布在GitHub平台：

Matrix-Game开源地址：https://github.com/SkyworkAI/Matrix-Game

Matrix-3D开源地址：https://github.com/SkyworkAI/Matrix-3D

免责声明

游乐网为非赢利性网站，所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系youleyoucom@outlook.com。

最新文章