智源多模态大模型成果登《自然》，科研突破详解

据《北京商报》记者陶凤、王天怡报道，1月28日，由智源研究院主导的一项多模态大模型研究成果——“通过预测下一个词元进行多模态学习的多模态大模型”正式上线国际顶级学术期刊《自然》，预计将于2月12日刊发纸质版。

资料显示，这是我国科研机构主导的大模型成果首次登陆《自然》正刊。

该研究推出的Emu模型，其核心突破在于仅采用“预测下一个词元”的自回归路线，将文本、图像、视频统一到同一表示空间，通过单一Transformer架构实现多模态数据的联合训练，无需依赖对比学习、扩散模型等专用路线。实验表明，其在文生图、视觉语言理解、视频生成等任务上的性能，可与各类成熟的任务专用模型相媲美，还能拓展至图文交错生成、机器人操作建模等场景。

《自然》编辑点评指出，该成果证明了自回归路线在多模态领域的通用性，对构建可扩展、统一的多模态智能系统具有重要意义。后续迭代的Emu版本进一步实现了“预测下一个状态”的能力跃迁，获得了可泛化的世界建模能力。

据悉，Emu系列模型自2024年启动研发，历经多次迭代，智源团队已开源视觉分词器等关键技术，并通过大规模实验揭示了多模态自回归模型的训练特性。此次成果不仅确立了自回归作为生成式人工智能统一路线的重要地位，也为原生多模态助手、具身智能等领域的发展奠定了基础。