摩尔线程 MTT S5000 适配 FlagOS 训练全要素软件栈，实现 Qwen3-0.6B 端到端无中断训练

3月27日重磅消息：AI大模型训练技术迎来关键里程碑，“全要素”验证取得突破性进展

今日，北京智源人工智能研究院公布了一项具有行业分量的重要技术验证成果。该成果的核心在于，将当前大型AI模型训练所必需的关键基础组件与硬件平台进行了全面整合验证，涵盖了从六款主流AI加速芯片、三个不同类型的大模型架构，到复杂的同构及异构千卡级算力集群编排，并基于统一的国产AI系统平台FlagOS完成了全链路跑通。

在这一具有开创性的验证中，作为核心硬件伙伴，摩尔线程提供了关键的自主算力支持。其主要贡献来自其旗舰级的全功能GPU产品——MTT S5000 AI训练及推理一体智算卡。这款硬件出色完成了任务，成功实现了对FlagOS训练体系所包含的全部底层软件栈和驱动功能的完整适配与兼容。

本次适配的软件栈系统，堪称现代大规模人工智能模型训练的“核心操作系统”，其重要性不言而喻。它包括了用于集群资源调度和任务编排的FlagScale框架、专门面向大规模并行训练的Megatron-LM分布式框架，以及Transformer Engine高性能计算库、Triton统一算子库，还有保障多节点高效协作的FlagCX高速通信库等核心模块。这意味着，从底层的算力资源调度与分配，到顶层的模型并行策略与参数更新，再到算子层的加速计算与跨节点数据交换，建立起了一条完整、高效且稳定的软件技术通路。

此次验证的实际效果和数据表现究竟如何？成果由详实的数据给出答案。在验证流程中，基于MTT S5000全功能GPU，成功对Qwen3-0.6B中等规模语言模型完成了总规模高达1万亿（1T）Tokens数据量的完整“从零开始”端到端训练验证。这一高强度训练过程累计持续了超过6天时间，训练步数超过14000步，整个周期内系统与硬件均保持了出色的稳定性，全程运行无中断。

更为关键的是模型训练的最终表现。在整个训练周期结束后，所得模型的损失（Loss）下降曲线与业界公认的参考基线相比，展现出高度一致性，两者之间的平均相对误差被成功控制在极低的0.82%范围内。尤为值得注意的是，后续在业内多个标准下游评测任务（如语言理解、文本生成等）中，基于MTT S5000训练产出的模型，其综合性能表现甚至超越了参考基线，实现了约1.65%的性能提升。这一系列严谨的数据强有力地证实了，基于摩尔线程MTT S5000这类自主研发的全功能GPU所构建的算力基础设施，不仅具备支撑大规模AI模型端到端训练的卓越稳定性和工程可行性，其训练效能与产出模型质量也达到了业界主流领先水平。