Omni-Infer v0.8.0发布 超大规模MoE模型推理加速技术性能升级
近日,Omni-Infer 迎来了 0.8.0 版本的正式上线。本次更新的核心亮点是针对超大规模 MoE 架构模型提供了高效的推理优化能力——对于正在处理庞杂 MoE 模型的团队而言,这无疑是一项值得关注的重大进展。
v0.8.0 版本概览
核心优化亮点
✓ 新增对 Pangu72B 大模型的强化学习(RL)训练支持
已验证支持模型清单
| 模型名称 | 硬件平台 | 量化格式 | 部署架构 |
|---|---|---|---|
| openPangu-Ultra-MoE-718B | A3 | INT8 | PD分离部署 |
| openPangu-Ultra-MoE-718B | A2 | INT8 | PD分离部署 |
| openPangu-72B | A3 | INT8 | PD分离部署 |
| openPangu-38B | A3 | INT8 | 混合部署 |
| openPangu-38B | A2 | INT8 | 混合部署 |
| openPangu-7B | A3 | BF16 | 混合部署 |
| openPangu-7B | A2 | BF16 | 混合部署 |
| openPangu-7BVL | A3 | BF16 | 混合部署 |
| DeepSeek-R1 | A3 | INT8 | PD分离部署 |
| DeepSeek-R1 | A3 | W4A8C16 | PD分离部署 |
| DeepSeek-R1 | A3 | BF16 | PD分离部署 |
| DeepSeek-R1 | A2 | INT8 | PD分离部署 |
| DeepSeek-V3.1 | A3 | INT8 | PD分离部署 |
| DeepSeek-V3.2 | A3 | INT8 | PD分离部署 |
| DeepSeek-OCR | A2 | BF16 | 混合部署 |
| Qwen2.5-7B | A3 | INT8 | 混合部署(TP≥1, DP=1) |
| Qwen2.5-7B | A2 | INT8 | 混合部署(TP≥1, DP=1) |
| QwQ | A3 | BF16 | PD分离部署 |
| QwQ | A2 | BF16 | PD分离部署 |
| Qwen3-235B | A3 | INT8 | PD分离部署 |
| Qwen3-235B | A2 | BF16 | PD分离部署 |
| Qwen3-32B | A3 | BF16 | PD分离部署 |
| Qwen3-32B | A3 | INT8 | PD分离部署 |
| Qwen3-30B | A3 | BF16 | PD分离部署 |
| Kimi-K2 | A3 | W4A8C16 | PD分离部署 |
| Kimi-K2 Thinking | A3 | W4A8C16 | PD分离部署 |
| Longcat-flash | A3 | BF16 | PD分离部署 |
| Ling-1T | A3 | BF16 | PD分离部署 |
| GPT-OSS120B | A3 | INT8 | PD分离部署 |
| GPT-OSS120B | A2 | INT8 | PD分离部署 |
| GPT-OSS20B | A3 | INT8 | PD分离部署 |
| GPT-OSS20B | A2 | INT8 | PD分离部署 |
安装资源获取
| 硬件类型 | CPU架构 | Docker镜像地址 | Tar包文件名 |
|---|---|---|---|
| A3 | arm | docker pull swr.cn-east-4.myhuaweicloud.com/omni-ci/omniinfer-a3-arm:release_v0.8.0-vllm | omni_infer-a3-arm:v0.8.0_vllm |
| A3 | x86 | docker pull swr.cn-east-4.myhuaweicloud.com/omni-ci/omniinfer-a3-x86:release_v0.8.0-vllm | omni_infer-a3-x86:v0.8.0_vllm |
| A2 | arm | docker pull swr.cn-east-4.myhuaweicloud.com/omni-ci/omniinfer-a2-arm:release_v0.8.0-vllm | omni_infer-a2-arm:v0.8.0_vllm |
| A2 | x86 | docker pull swr.cn-east-4.myhuaweicloud.com/omni-ci/omniinfer-a2-x86:release_v0.8.0-vllm | omni_infer-a2-x86:v0.8.0_vllm |
源码及安装包下载:立即获取 v0.8.0 版本
游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。
同类文章
最新消息称国行苹果iPhone 18 Pro Max电池容量达到了5391mAh增幅11.78%
国行iPhone18ProMax电池容量达5391mAh,较前代增幅11 78%,增量近568mAh;Pro机型仅小幅提升68mAh。爆料称最终数据待验证,若属实则续航将显著增强。
HMD发布四款诺基亚功能手机 配备AI按键与可拆卸电池
HMDGlobal推出4款诺基亚功能手机,均配1450mAh可拆卸电池及独立AI按键,支持语音控制,免费180天后付费。部分机型带摄像头,支持microSD卡扩展至32GB,具双SIM卡、3 5mm接口及蓝牙5 0。
云南以旧换新补贴扩围 新增智能影音与无人机
云南省自2026年7月起扩大消费品以旧换新补贴范围,新增智能门锁、智能影音、无人机、数码相机等数码智能产品及吸油烟机、燃气灶、洗碗机、净水器等家电。按最终售价15%补贴,每类每件最高1500元,商户报名无限制。
小米Redmi 7英寸高性能手机传闻即将发布
最近圈内又有新动静了。据博主 @数码闲聊站 今天爆料,某家厂商的子系列下一代打算推出两款屏幕尺寸差异明显的机型:一块是 6 59 英寸的中屏 Pro,另一块则是 7 英寸的巨屏性能机。从该博主以往的爆料习惯来看,基本可以锁定是小米 REDMI 品牌的产品线布局。 有意思的是,早在今年 2 月,这位博
深光影像AF35mmF2.2CE全画幅镜头E/L卡口739元起售
深光影像AF35mmF2 2CE全画幅镜头开售,提供E卡口和L卡口,标准版七百三十九元,套装版七百八十九元。全金属机身,重约一百七十五克,高三十六毫米,滤镜口径五十二毫米,光学结构五组七片,九片光圈叶片,最近对焦零点三五米,支持自动对焦。
- 日榜
- 周榜
- 月榜
1
2
3
4
5
6
7
8
9
10
1
2
3
4
5
6
7
8
9
10
1
2
3
4
5
6
7
8
9
10
相关攻略
2026-07-05 13:32
2026-07-05 13:32
2026-07-05 13:31
2026-07-05 13:31
2026-07-05 13:30
2026-07-05 13:30
2026-07-05 13:30
2026-07-05 13:30
热门教程
- 游戏攻略
- 安卓教程
- 苹果教程
- 电脑教程
热门话题

