四大国产GPU深度解析:华为昇腾、阿里平头哥、沐曦与壁仞
3月8日传来的最新消息,上海人工智能实验室(上海AI实验室)正式宣布,在原有DeepLink混训技术方案与跨千里多智算中心长稳混训千亿参数大模型的基础上,推出了DeepLink多元算力混合推理加速方案,实现了对华为昇腾、沐曦、阿里平头哥、壁仞等多款国产GPU芯片的混合调度与协同推理。
据了解,DeepLink混推方案基于统一推理中间件、低时延通信、智能流量路由、策略求解器等原创技术,不仅能对多款芯片进行混合调度与协同推理,性能也实现了大幅提升。与单一芯片方案相比,推理时延TTFT最高可优化34.5%,推理吞吐最多可提升32%。

近年来,国产AI GPU如雨后春笋般涌现,性能日益强劲,但一方面,各家芯片往往各自为战,互不通联;另一方面,大模型推理技术本身也需要不断优化和效率提升。
上海AI实验室在国产GPU异构算力整合中,运用了预填充-解码分离(PD分离)策略,验证了混合芯片高效协同推理的可行路径。
在同一数据中心内,将不同规格属性的GPU芯片组合优化使用,可以形成最具性价比的异构算力搭配。
具体实现上,上海AI实验室通过四大原创技术底座,实现了对异构算力资源的兼容调度。
推理中间件(DLInfer):
以标准化融合算子接口打通上层框架与底层硬件壁垒,实现算法模型在多元硬件上的统一推理,降低应用门槛。
高速通信库(DLSlime):
全面兼容各类主流物理连接协议,实现跨架构设备高速互联,核心场景带宽利用率突破97%;具备较强的异步处理能力,可实现计算与通信的重叠。
智能流量路由系统(DLRouter):
支持KVCache感知的请求路由,最大限度减少重复或重叠请求,节省计算资源,实现分布式集群负载均衡分配。
策略求解器(DLSolver):
自动获取异构芯片全方位置性能评测数据,结合模型配置以及用户服务等级目标等输入,匹配最优PD分离配置策略,兼顾推理性能与成本。


在单一算力平台推理加速方面,方案已在华为昇腾A2平台上,针对千卡规模下的化学数据生成场景,实现了61.9%的吞吐率提升;在沐曦曦云C500上,则使MinerU多模态生成推理加速了60%。
在多款国产GPU芯片的深度混合调度与协同推理方面,千卡规模推理集群实测数据表明,在多模态生成、高并发智能服务等典型场景下,对比单芯片方案,推理时延TTFT最大可优化34.5%。
在科学论文处理等长输入短输出推理任务中,推理吞吐可提升32%。

值得一提的是,除了以上四家厂商,寒武纪、燧原科技、天数智芯、无问芯穹、商汤科技、中科曙光等也都是上海AI实验室和DeepLink技术方案的重要合作伙伴。
我们相信将看到越来越多的国产GPU并肩作战!
游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。
同类文章
国产内存新架构突破30TB带宽实现自主供应链
随着人工智能技术从模型训练大规模转向实际应用部署,AI算力的需求重心正发生深刻变化。一个关键的行业转折点已经到来:单纯追求算力峰值不再是唯一焦点,内存带宽与延迟正成为制约性能提升的新瓶颈。如何构建高带宽、低延迟、高能效的内存子系统,已成为全球AI芯片行业必须攻克的核心挑战。近期,国内科技企业在这一前
Edge浏览器网页捕获功能使用教程 截取全屏与区域截图详解
Edge浏览器内置了强大的网页截图功能,无需安装插件。可通过右上角菜单、快捷键Ctrl+Shift+S、网页右键菜单、开发者工具命令或地址栏常驻按钮启动。支持截取整个长网页或自定义选定区域,截图后可直接编辑保存。
千度手机版官网免费入口手机端专用访问链接
千度是一个免注册、无广告的教育信息服务平台,提供资料库、文苑、课栈等核心板块。平台内容涵盖广泛学习资料,支持离线缓存与语义搜索,移动端设计简洁,无广告干扰。所有资源免费开放,不收集用户敏感信息,无商业化会员体系,注重隐私保护与内容纯粹性。
ES文件浏览器复制文件内容到剪贴板详细步骤教程
使用ES文件浏览器复制文件时,需先开启剪贴板悬浮按钮。长按文件可呼出菜单进行复制,也可批量选择多个文件一并复制。如需复制文件路径,则需长按文件进入属性页面,手动复制路径文本。若使用平板或外接键盘,还可通过Ctrl+C快捷键快速完成复制操作。
如何设置鼠标连点器的固定点击间隔秒数
鼠标连点器通过设定毫秒级点击间隔实现精准自动化操作。用户需将目标秒数换算为毫秒值进行设置,并可配置热键、点击按键与固定坐标。建议正式使用前进行测试验证,并注意避免间隔过短或安全软件拦截,以保障运行稳定。
- 日榜
- 周榜
- 月榜
1
2
3
4
5
6
7
8
9
10
相关攻略
2015-03-10 11:25
2015-03-10 11:05
2021-08-04 13:30
2015-03-10 11:22
2015-03-10 12:39
2022-05-16 18:57
2025-05-23 13:43
2025-05-23 14:01
热门教程
- 游戏攻略
- 安卓教程
- 苹果教程
- 电脑教程
热门话题

