当前位置: 首页
科技数码
Omni-Infer v0.8.0发布 超大规模MoE模型推理加速技术性能升级

Omni-Infer v0.8.0发布 超大规模MoE模型推理加速技术性能升级

热心网友 时间:2026-06-28
转载

近日,Omni-Infer 迎来了 0.8.0 版本的正式上线。本次更新的核心亮点是针对超大规模 MoE 架构模型提供了高效的推理优化能力——对于正在处理庞杂 MoE 模型的团队而言,这无疑是一项值得关注的重大进展。

v0.8.0 版本概览

核心优化亮点

✓ 新增对 Pangu72B 大模型的强化学习(RL)训练支持

已验证支持模型清单

模型名称 硬件平台 量化格式 部署架构
openPangu-Ultra-MoE-718B A3 INT8 PD分离部署
openPangu-Ultra-MoE-718B A2 INT8 PD分离部署
openPangu-72B A3 INT8 PD分离部署
openPangu-38B A3 INT8 混合部署
openPangu-38B A2 INT8 混合部署
openPangu-7B A3 BF16 混合部署
openPangu-7B A2 BF16 混合部署
openPangu-7BVL A3 BF16 混合部署
DeepSeek-R1 A3 INT8 PD分离部署
DeepSeek-R1 A3 W4A8C16 PD分离部署
DeepSeek-R1 A3 BF16 PD分离部署
DeepSeek-R1 A2 INT8 PD分离部署
DeepSeek-V3.1 A3 INT8 PD分离部署
DeepSeek-V3.2 A3 INT8 PD分离部署
DeepSeek-OCR A2 BF16 混合部署
Qwen2.5-7B A3 INT8 混合部署(TP≥1, DP=1)
Qwen2.5-7B A2 INT8 混合部署(TP≥1, DP=1)
QwQ A3 BF16 PD分离部署
QwQ A2 BF16 PD分离部署
Qwen3-235B A3 INT8 PD分离部署
Qwen3-235B A2 BF16 PD分离部署
Qwen3-32B A3 BF16 PD分离部署
Qwen3-32B A3 INT8 PD分离部署
Qwen3-30B A3 BF16 PD分离部署
Kimi-K2 A3 W4A8C16 PD分离部署
Kimi-K2 Thinking A3 W4A8C16 PD分离部署
Longcat-flash A3 BF16 PD分离部署
Ling-1T A3 BF16 PD分离部署
GPT-OSS120B A3 INT8 PD分离部署
GPT-OSS120B A2 INT8 PD分离部署
GPT-OSS20B A3 INT8 PD分离部署
GPT-OSS20B A2 INT8 PD分离部署

安装资源获取

硬件类型 CPU架构 Docker镜像地址 Tar包文件名
A3 arm docker pull swr.cn-east-4.myhuaweicloud.com/omni-ci/omniinfer-a3-arm:release_v0.8.0-vllm omni_infer-a3-arm:v0.8.0_vllm
A3 x86 docker pull swr.cn-east-4.myhuaweicloud.com/omni-ci/omniinfer-a3-x86:release_v0.8.0-vllm omni_infer-a3-x86:v0.8.0_vllm
A2 arm docker pull swr.cn-east-4.myhuaweicloud.com/omni-ci/omniinfer-a2-arm:release_v0.8.0-vllm omni_infer-a2-arm:v0.8.0_vllm
A2 x86 docker pull swr.cn-east-4.myhuaweicloud.com/omni-ci/omniinfer-a2-x86:release_v0.8.0-vllm omni_infer-a2-x86:v0.8.0_vllm

源码及安装包下载:立即获取 v0.8.0 版本

来源:https://www.php.cn/faq/2010204.html?uid=1246273

游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。

同类文章
更多
最新消息称国行苹果iPhone 18 Pro Max电池容量达到了5391mAh增幅11.78%

最新消息称国行苹果iPhone 18 Pro Max电池容量达到了5391mAh增幅11.78%

国行iPhone18ProMax电池容量达5391mAh,较前代增幅11 78%,增量近568mAh;Pro机型仅小幅提升68mAh。爆料称最终数据待验证,若属实则续航将显著增强。

时间:2026-07-05 13:32
HMD发布四款诺基亚功能手机 配备AI按键与可拆卸电池

HMD发布四款诺基亚功能手机 配备AI按键与可拆卸电池

HMDGlobal推出4款诺基亚功能手机,均配1450mAh可拆卸电池及独立AI按键,支持语音控制,免费180天后付费。部分机型带摄像头,支持microSD卡扩展至32GB,具双SIM卡、3 5mm接口及蓝牙5 0。

时间:2026-07-05 13:32
云南以旧换新补贴扩围 新增智能影音与无人机

云南以旧换新补贴扩围 新增智能影音与无人机

云南省自2026年7月起扩大消费品以旧换新补贴范围,新增智能门锁、智能影音、无人机、数码相机等数码智能产品及吸油烟机、燃气灶、洗碗机、净水器等家电。按最终售价15%补贴,每类每件最高1500元,商户报名无限制。

时间:2026-07-05 13:31
小米Redmi 7英寸高性能手机传闻即将发布

小米Redmi 7英寸高性能手机传闻即将发布

最近圈内又有新动静了。据博主 @数码闲聊站 今天爆料,某家厂商的子系列下一代打算推出两款屏幕尺寸差异明显的机型:一块是 6 59 英寸的中屏 Pro,另一块则是 7 英寸的巨屏性能机。从该博主以往的爆料习惯来看,基本可以锁定是小米 REDMI 品牌的产品线布局。 有意思的是,早在今年 2 月,这位博

时间:2026-07-05 13:31
深光影像AF35mmF2.2CE全画幅镜头E/L卡口739元起售

深光影像AF35mmF2.2CE全画幅镜头E/L卡口739元起售

深光影像AF35mmF2 2CE全画幅镜头开售,提供E卡口和L卡口,标准版七百三十九元,套装版七百八十九元。全金属机身,重约一百七十五克,高三十六毫米,滤镜口径五十二毫米,光学结构五组七片,九片光圈叶片,最近对焦零点三五米,支持自动对焦。

时间:2026-07-05 13:30
热门专题
更多
刀塔传奇破解版无限钻石下载大全 刀塔传奇破解版无限钻石下载大全
洛克王国正式正版手游下载安装大全 洛克王国正式正版手游下载安装大全
思美人手游下载专区 思美人手游下载专区
好玩的阿拉德之怒游戏下载合集 好玩的阿拉德之怒游戏下载合集
不思议迷宫手游下载合集 不思议迷宫手游下载合集
百宝袋汉化组游戏最新合集 百宝袋汉化组游戏最新合集
jsk游戏合集30款游戏大全 jsk游戏合集30款游戏大全
宾果消消消原版下载大全 宾果消消消原版下载大全
  • 日榜
  • 周榜
  • 月榜