智源Emu3.5多模态大模型：打通AI迈向物理世界新路径

随着人工智能技术的日新月异，智源研究院再次成为业界瞩目的焦点。近日，智源研究院在北京成功举办了“悟界·Emu系列技术交流会”，院长王仲远与多模态大模型负责人王鑫龙共同宣布，推出具有划时代意义的Emu3.5多模态世界大模型。这一重要突破标志着人工智能技术从单一模态学习向多模态世界学习的跨越迈出了关键一步。

回顾2024年10月，智源研究院便发布了全球首个原生多模态世界模型Emu3。该模型采用独特的技术路径，创新性地基于下一标记预测技术，无需依赖扩散模型或组合方法，便实现了图像、文本、视频的深度融合与统一处理。一经问世，便在技术社区引发了广泛关注和热烈讨论。

时隔一年，智源研究院再度发力，推出Emu3.5。此次升级在“Next Token Prediction”范式基础上，突破性地模拟人类自然学习方式，通过自回归架构实现了对多模态序列的“Next State Prediction（NSP）”，赋予了模型更强大的可泛化世界建模能力。王仲远院长表示：“Emu3验证了自回归架构在多模态理解与生成中的可行性，而Emu3.5则开启了多模态Scaling的新篇章，为构建更通用、能与物理世界交互的人工智能提供了坚实路径。”

Emu3.5的训练规模堪称宏大，它基于超过10万亿token的大规模多模态数据，视频数据训练量时长实现了从15年到790年的惊人跃升，参数量也从80亿提升至340亿，充分展现了原生多模态Scaling范式的巨大潜力。在推理环节，Emu3.5更创新性地提出了“离散扩散自适应”（DiDA）技术，这一高效的混合推理预测方法，在不牺牲性能的前提下，将每张图片的推理速度提升了近20倍，首次使自回归模型的生成效率达到了顶尖闭源扩散模型的水平。

王鑫龙进一步介绍：“EMU3.5在原生多模态的大规模预训练、大规模强化学习和高效推理方面均取得突破，为多模态世界模型的发展指明了一条简单易扩展的Scaling范式。”

值得一提的是，EMU3.5模型开始展现出学习现实世界物理动态与因果关系的强大能力，为探索通用世界模型奠定了坚实基础。该模型具备三大显著特点：一是从意图到规划，能够理解高层级的人类意图，如“如何制作一艘宇宙飞船”或“如何制作咖啡拉花”，并自主生成详细、连贯的多步骤行动路径；二是动态世界模拟，能够在统一框架内无缝融合对世界的理解、规划与模拟，预测物理动态、时空演化和长时程因果关系；三是可成为泛化交互基础，其涌现出的因果推理和规划能力，为AI与人类及物理环境进行泛化交互提供了关键的认知基础。

在实际应用中，Emu3.5在多模态指导方面展现出卓越的时序一致性与步骤推理能力，使复杂任务的执行过程更加清晰透明。同时，其多模态叙事能力也令人印象深刻，能够围绕任意主题生成沉浸式的故事体验，激发无限想象力。该模型还具备跨场景的具身操作能力，能够实现泛化的动作规划与复杂交互，并在世界探索中保持长距离一致性与可控交互，兼顾真实与虚拟的动态环境，实现自由探索与精准控制。

在图文编辑领域，Emu3.5同样表现优异。它既可通过自然语言实现任意指令的图片编辑与时空变换，也能以精准、智能、可控且富有创意的方式完成文图生成，使文字与视觉内容的融合更加自然且保真度高。在基准测试中，Emu3.5的表现更是超越了众多知名的闭源模型，彰显了其强大的技术实力。

免责声明

游乐网为非赢利性网站，所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系youleyoucom@outlook.com。

同类文章