商汤开源NEO架构：行业首个多模态模型统一视觉与语言

12月2日，商汤科技正式发布并开源了与南洋理工大学S-Lab实验室联合研发的全新多模态模型架构——NEO，为旗下日日新SenseNova多模态模型的下一代架构奠定了坚实基础。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈

NEO架构被誉为“业内首个可实现深层融合的可用原生多模态架构（Native VLM）”。该架构从底层原理出发，突破了传统“模块化”范式的限制，采用“专为多模态而生”的设计理念。通过核心架构层面的多模态深度融合，该架构在性能表现、运行效率与通用能力方面实现了全面突破。

商汤科技技术团队指出，当前业界主流的多模态模型大多遵循“视觉编码器+投影器+语言模型”的模块化范式。这种基于大型语言模型（LLM）的扩展方案虽然实现了图像输入的兼容，但从本质上仍以语言处理为核心，图像与语言的融合仅限于数据层面。这种“拼凑式”的设计不仅导致模型学习效率低下，更限制了其在复杂多模态场景（如图像细节捕捉、空间结构理解等）的处理能力。

NEO架构通过从零开始的全新设计，在注意力机制、位置编码和语义映射三个维度实现底层创新，使模型天生具备统一处理视觉与语言信息的能力：

原生图像块嵌入（Native Patch Embedding）：摒弃了传统离散的图像分词器，通过独创的图像块嵌入层自底向上构建从像素到词元的连续映射。这种设计能更精准地捕捉图像细节特征，突破了主流模型的图像建模瓶颈。

原生三维旋转位置编码（Native-RoPE）：创新实现三维时空频率解耦，视觉维度采用高频编码、文本维度采用低频编码，完美适配两种模态的自然结构特性。这使得NEO不仅能准确捕捉图像的空间结构，更具备向视频处理、跨帧建模等复杂场景无缝拓展的潜力。

原生多头注意力（Native Multi-Head Attention）：针对不同模态特征，NEO在统一框架下实现了文本词元的自回归注意力和视觉词元的双向注意力并存。这种设计显著提升了模型对空间结构关联的利用率，从而更好地支撑复杂的图文混合理解与推理任务。

更重要的是，配合预缓冲与后融合双阶段训练策略，NEO能够在完整吸收原始LLM语言推理能力的同时，从零构建视觉感知能力，有效解决了传统跨模态训练中语言能力受损的行业难题。

测试数据显示，NEO架构在多个维度实现显著突破：

数据效率：仅需业界同等性能模型十分之一的数据量（约3.9亿图文示例），NEO即可开发出“顶尖的视觉感知能力”。无需依赖海量数据及额外视觉编码器，该架构就能在多项视觉理解任务中追平Qwen2-VL、InternVL3等顶级模块化旗舰模型。

性能表现：在MMMU、MMB、MMStar、SEED-I、POPE等多项公开评测中，NEO架构均取得优异成绩。

推理性价比：特别是在0.6B-8B参数区间内，NEO在边缘部署方面展现出明显优势。

商汤科技已正式开源基于NEO架构的2B与9B两种规格模型，完整开源地址如下：

https://github.com/EvolvingLMMs-Lab/NEO

https://arxiv.org/abs/2510.14979