华为盘古Ultra-MoE-718B V1.1开源：模型权重与技术细节公开下载

10月16日最新消息显示，今年9月，华为盘古718B大模型凭借其不堆数据、专注深度思考的训练策略，在SuperCLUE榜单上一路跃升至开源模型第三位，成为业界广泛关注的焦点。

华为方面近期正式宣布，openPangu-Ultra-MoE-718B-V1.1 模型已在GitCode平台全面开源，相关模型权重与技术细节悉数公开。

硬件部署要求为：Atlas 800T A2（64GB，≥32卡），支持裸机或Docker两种部署方式。

该模型的特色功能之一是支持通过 /no_think 标记在快慢思考模式间自由切换，并能高效支持多轮工具调用。

据华为官方介绍，openPangu-Ultra-MoE-718B-V1.1 是基于昇腾NPU训练的大规模混合专家（MoE）语言模型，总参数量达到718B，激活参数量为39B。该架构创新性地融合了“快思考”与“慢思考”两种能力模式，从而实现更高效、更智能的推理与决策过程。

在9月最新发布的SuperCLUE榜单中，openPangu-718B 稳居开源模型总榜第三位，在数学推理、科学推理、代码生成六大核心维度均取得了优异成绩。特别值得关注的是，其在幻觉控制项上得分高达81.28，甚至超越了部分闭源头部模型，展现出其在输出可靠性方面的技术优势。

与上一版本 openPangu-Ultra-MoE-718B-V1.0 相比，V1.1在Agent工具调用能力方面有了显著提升，幻觉率进一步降低，模型的整体表现与稳定性也得到了全面提升。

华为此次采用了业界领先的Multi-head Latent Attention(MLA)、Multi-Token Prediction (MTP) 以及高稀疏比混合专家架构，并在此基础上引入多项创新设计，以实现更优的性能与训练效率：

Depth-Scaled Sandwich-Norm 与 TinyInit：通过改进层归一化结构和参数初始化方式，显著提升了模型训练的稳定性与收敛速度。

基于EP-Group的负载均衡策略：优化负载均衡损失函数，有效增强专家路由的分布平衡性，提升专家专业化与协同能力。

本次开源的V1.1版本在多个关键维度上实现了显著提升：

综合能力优化：在MMLU-Pro、GPQA等高难度测评中，快慢思考双模式成绩全面超越V1.0；

幻觉率大幅降低：通过“批判内化”机制，幻觉率从V1.0的10.11%降至3.85%（快思考模式）；

工具调用能力增强：升级ToolACE框架，在Tau-Bench等多工具协同任务中表现亮眼；

推荐Int8量化版本：显存占用减少约一半，吞吐提升达20%，精度损失不足1%。

附最新地址：

模型地址：
https://ai.gitcode.com/ascend-tribe/openPangu-Ultra-MoE-718B-V1.1

Int8量化版本：
https://gitcode.com/ascend-tribe/openPangu-Ultra-MoE-718B-V1.1-Int8

免责声明

游乐网为非赢利性网站，所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系youleyoucom@outlook.com。

同类文章