商汤流式多模态大模型对标GPT-4o，点燃人机交互革命

在上海举行的世界人工智能大会WAIC，对国内大模型企业来说，无异于一场重要的年中“大考”。各家大模型公司纷纷亮出最新研发成果，展示自身实力。

回顾2023年，行业还处在“百模大战”的刷榜阶段，各厂商主要围绕参数规模与模型性能展开较量。但进入AI 2.0“应用元年”后，每家人工智能公司都基于自身对AI应用和大模型技术的独特理解，即“非共识”，努力探索差异化的破局路径。

年初大模型领域掀起的价格战，已将API接口价格大幅压低。此后，市场上已很难见到针对单一因素不计代价投入的局面。纵观今年WAIC各家大模型厂商的新品发布，单纯强调模型参数的演讲占比越来越少，取而代之的是更多关于产品特色、生态构建等差异化内容的展示。大家都希望在应用层面找到切实可行的落地思路。

而那些仍在快速迭代模型性能的公司，也不再仅仅执着于测评集的分数，而是更多地基于自身技术路径的独特优势，力图推出让人眼前一亮的创新产品。

今年5月，OpenAI与谷歌几乎同时发布了基于原生多模态大模型的最新成果——GPT-4o和“Project Astro”。这两款产品都运用了模型的实时多模态交互能力，让用户能够通过声音和摄像头与模型进行自然、低延迟的对话，试图重新定义人机交互的范式。商汤科技是国内率先跟上这一趋势的大模型企业。凭借自身的原生多模态基础模型，商汤迅速推出了“日日新5o”，并将其定义为国内首个所见即所得模型，旨在带来全新的实时流式多模态交互体验。

回顾计算机发展史，每一次人机交互的“平台级”革命，最终都催生了载入史册的产品与公司。图形化交互界面使微软成长为科技巨头，Windows成为个人电脑的灵魂；而iPhone开启了移动互联网时代，助力苹果成为最受欢迎且盈利能力最强的科技公司。这背后的逻辑清晰可见——这或许正是OpenAI与谷歌不约而同地选择将大模型技术向多模态方向持续迭代的根本原因。

商汤的发布会内容丰富，涵盖了从智能驾驶端到端的技术更新突破，到可控视频生成的最新成果，再到医疗行业的落地案例与出海战略，信息量十分庞大。但也许，日日新5o的发布，将成为那种在五年甚至十年后，依然会被人们反复提及、开启一个新时代的标志性时刻。

对标GPT-4o的实时流式多模态大模型

工作人员刚与“日日新5o”打招呼，它便自动识别出对方脖子上胸卡带子上的字样，判断出这正是世界人工智能大会现场，并表示在这里可以“好好学习”。

现场拍摄

接着，工作人员拿出一只小狗玩偶，“日日新5o”准确描述了它的外貌与表情，还特别注意到玩偶头戴的印有商汤科技logo的白色帽子，给足了“主场人”面子。

现场拍摄

随后增加难度——随手翻开一本书的任意一页，“日日新5o”能自动进行介绍。这并非简单的OCR文字识别，而是识别图文后给出易于理解的总结，这一切都在瞬间完成，真正实现了实时交互。

现场拍摄

在体验“画功”环节时，工作人员随手画了一只简笔画小兔子，“日日新5o”直呼画得可爱。之后又画了一个微笑表情，它从平静的表情中准确捕捉到了笑意；工作人员将嘴巴画大并添上舌头，“日日新5o”立刻觉察到变化，表示这个表情看起来开心多了。

在商汤展台，有参观者怀疑那些固定的玩偶和书本可能经过事先安排，于是随机拿出自己携带的一瓶矿泉水让模型识别。模型毫不费力地识别出这是一瓶喝了一半的农夫山泉。

现场拍摄

接着，观众又随手翻开书本让模型归纳内容，日日新5o依旧对答如流。这些功能都建立在商汤训练的原生多模态大模型能力之上——它能实时、高效地处理多模态数据，使得用户与AI的交互体验极其顺畅自然。商汤也首次用中文界定了GPT-4o这类交互方式——流式原生多模态交互模型。

WAIC镇馆之宝——Vimi视频生成模型

除了流式多模态大模型的展示，商汤还带来了视频生成领域的最新进展——Vimi。

官方提供

Vimi基于日日新5.5能力打造，是首个可控人物视频生成大模型。用户只需提供一张任意风格的照片，即可生成长达1分钟的视频。“人物可控”一直是AI视频生成领域的一大难题，即便是Sora也难以精确控制人物动作，连续性与面部细节容易出现畸变。但Vimi不同，它能精确控制人物面部表情与半身像的自然姿态，还能自动生成与人物匹配的头发、服装及背景变化，视频时长可达分钟级别。

在官方演示中，一张普通的个人照片很快就能变成冰雪女王形象。

官方提供

官方还利用Vimi将图灵、香农等计算机发展史上的杰出人物“复活”出来。随着人物运动，其五官特征始终保持得非常好。

性能全面升级，端云协同大幅降低大模型成本

除了明确指出两个新方向外，日日新5.5在短短两个月内再次实现迭代，性能有了接近30%的提升。在各大测试集上，日日新5.5重新占据了非常领先的地位。

官方提供

短期内模型能力取得如此显著的提升，主要得益于训练数据的更新。据商汤透露，他们使用了超过10TB tokens的训练数据，其中包括大量人工合成数据。数据构造从基本的文本知识转向合成思维链数据，使得模型在数学、推理、长文本处理、编程等多个维度均实现了大幅提升。

除了利用全新的合成数据“增效”，商汤在“降本”方面也取得了关键突破。模型采用了混合端云协同架构，最大限度发挥云边端协同优势，大幅降低推理成本，让用户以更低成本享受更优质的大模型使用体验。端侧模型日日新5.5 Lite在性能指标的各个维度上也实现了全面升级，速度更快，支持在智能手机、平板电脑、PC、车舱一体机等设备上部署应用。

基于手机旗舰平台，5.5 Lite首次安装耗时仅0.19秒，比上一版本减少40%；推理速度提升15%，达到每秒90.2个汉字的处理速度。此外，商汤还推出了端侧模型矩阵，包括商量Mini写作助手、总结助手和百科助手等定制模型，在相应场景中展现出更优异的性能，满足客户复杂业务场景的需求。对于普通用户而言，端侧模型的使用成本几乎可以忽略不计。

官方提供