商汤科技联手南洋理工开源NEO架构:原生多模态模型新版发布
商汤科技与南洋理工大学S-Lab联合发布新一代多模态架构NEO,该架构现已正式开源,为日日新SenseNova多模态模型提供了全新的技术底座。这一突破性架构通过底层创新实现了视觉与语言的深度交融,在性能、效率及通用性方面均有显著提升,标志着多模态技术从“模块化拼接”向“原生融合”的范式转变。
免费影视、动漫、音乐、游戏、小说资源长期稳定更新! 👉 点此立即查看 👈
传统多模态模型多采用“视觉编码器+投影器+语言模型”的模块化设计,以语言模型为核心扩展图像处理能力。然而,这种架构本质上仍以文本为主导,图像与语言的融合仅停留在数据层面,导致模型在复杂场景中(如精细图像分析或空间结构理解)表现受限。商汤科技指出,此类“拼凑式”设计不仅学习效率低下,更难以满足真实场景对多模态协同的需求。
针对上述痛点,NEO架构从底层机制重构多模态处理逻辑,通过三大核心创新实现原生融合:其一,原生图块嵌入技术摒弃离散图像分块方式,采用自底向上的连续映射技术,直接从像素生成语义词元,显著提升图像细节捕捉能力;其二,原生三维旋转位置编码解耦时空频率分配,为视觉与文本模态分配差异化频率参数,使模型同时具备图像空间结构解析与视频跨帧建模潜力;其三,原生多头注意力机制在统一框架下实现文本自回归注意力与视觉双向注意力的协同,强化空间关联推理能力。
在训练策略上,NEO采用Pre-Buffer与Post-LLM双阶段融合机制,既保留原始语言模型的完整推理能力,又从零构建视觉感知模块,有效解决跨模态训练中语言能力退化问题。测试数据显示,该架构仅需3.9亿图像文本样本(约为行业同等性能模型的十分之一),即可在视觉理解任务中比肩Qwen2-VL、InternVL3等旗舰模型。在MMMU、MMB等权威评测中,NEO架构多项指标位居前列,尤其在0.6B至8B参数规模的边缘部署场景中,展现出显著的成本与效率优势。
目前,商汤已开源基于NEO架构的2B与9B参数模型,开发者可通过开源社区获取技术文档与模型权重。此次开源不仅为学术界提供前沿研究基准,更为工业界部署高效多模态应用提供新选择。随着原生融合架构的普及,多模态技术有望在智能终端、自动驾驶、医疗影像等领域实现更广泛的应用突破。
游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。
同类文章
基普乔格代言君乐宝:马拉松之神的品牌选择
3月27日,全球“马拉松之神”埃鲁德·基普乔格走进君乐宝乳业集团,在深度探访全产业链后,正式签约成为君乐宝全球品牌代言人,同时成为君乐宝奶粉肯尼亚市场战略合作伙伴。君乐宝的乳业马拉松坚守品质创新,突
MINI吉设计上海2026:跨界创新如何重塑都市出行体验
MINIJ小吉登陆“设计上海”2026:打造沉浸式美学空间,以“共生之美”谱写生活旋律2026年3月19日,全球美学科技家电品牌MINIJ小吉携手国际家居设计媒体《家居廊ELLE DECORATIO
聚焦中国科学十大进展:柔性超平金刚石薄膜产业化新路径
近日,国家自然科学基金委员会发布了2025年度“中国科学十大进展”,“创新方法实现规模化制备柔性超平金刚石薄膜”入选。这一方法有望加速金刚石薄膜在下一代高性能电子、柔性光电子和量子技术等领域的应
宗馥莉掐断娃哈哈部分产线,“逼宫”风波撕裂脸面
一波未平一波又起,在娃哈哈身上体现得淋漓尽致。“负债上班”的余温还在,停工、停产的消息被再次爆出。 从26日晚间开始,有关“娃哈哈”部分工厂停产的消息便不胫而走。今日,《财新》报道称,“宏胜通知部
三层硬核架构焊死龙虾安全,开发者生存指南
AI开始集体“搞事情”了。 随着OpenClaw等高权限智能体应用的集体爆发,Agentic AI正以前所未有的速度,从实验室的Demo幻觉走向生产力的“大规模杀伤性”落地。 但硬币的另一面也随
- 日榜
- 周榜
- 月榜
相关攻略
2015-03-10 11:25
2015-03-10 11:05
2021-08-04 13:30
2015-03-10 11:22
2015-03-10 12:39
2022-05-16 18:57
2025-05-23 13:43
2025-05-23 14:01
热门教程
- 游戏攻略
- 安卓教程
- 苹果教程
- 电脑教程

