我国首个大模型成果登上《自然》封面背后的突破

本讯（记者 雷嘉）近日，由北京智源人工智能研究院主导的一项多模态大模型研究成果，在国际顶级学术期刊《自然》官网正式上线，并将于2月12日在纸质版正式刊发。这是我国科研机构主导的大模型成果，首次在《自然》正刊上发表。

自2018年以来，GPT模型采用的“预测下一个词元”自回归范式，引领了语言大模型的重大突破，开启了生成式人工智能的发展浪潮。然而，多模态模型通常依赖对比学习、扩散模型等专门技术路径，自回归方式能否作为一种通用路线来统一处理多模态数据，一直是业界探索的焦点。

智源研究院提出的Emu模型，基于“预测下一个词元”的核心思想，构建了全新的多模态架构。该模型将图像、文本和视频数据统一离散化到同一个表示空间中，并从一开始就直接在混合的多模态序列数据上，联合训练一个单一的Transformer。这一架构证明了，仅凭“预测下一个词元”这一目标，就能让模型同时具备高水平的生成能力与理解能力。此外，在此统一框架下，模型的能力还能自然地扩展到机器人操作以及多模态交互等生成任务。

实验结果表明，Emu在生成与感知任务上的整体表现，足以媲美多种成熟的专用模型：在文生图任务中，其效果达到扩散模型的水平；在视觉语言理解方面，可以与融合了CLIP与大语言模型的主流方案相匹敌。同时，Emu还具备视频生成能力。与以噪声为起点的扩散式视频生成模型不同，Emu通过自回归方式逐词元预测视频序列，实现了基于因果关系的视频生成与延续，展现出对物理世界中环境、人类与动物行为的初步模拟能力。

这项成果表明，仅采用自回归这一条路线，就可以统一多模态学习，训练出卓越的原生多模态大模型。这对于确立自回归成为生成式人工智能的统一技术路线，具有重大意义。值得一提的是，智源研究团队已将相关研究的多项关键技术及模型进行了开源，以推动该方向的持续研究与生态发展。

《自然》编辑在点评这项研究时指出：Emu仅基于预测下一个词元，就实现了大规模文本、图像和视频的统一学习，其在生成与感知任务上的性能与使用专门路径的模型相当。这一成果对于构建可扩展、统一的多模态智能系统意义重大。