思元370芯片MLU370-X8智能加速卡产品手册深度解析

在AI芯片这一前沿科技领域，每一次制程与架构的突破都牵动着业界的目光。寒武纪推出的思元370，作为其首款采用先进Chiplet（芯粒）封装技术的AI处理器，标志着一次关键的技术跨越。该芯片基于领先的7纳米制程工艺，集成了惊人的390亿个晶体管，其最大计算性能达到256TOPS(INT8)，性能表现是前代思元270的两倍。这一飞跃得益于寒武纪第三代智能芯片架构MLUarch03的赋能，使得思元370在实际应用中的效能表现尤为突出。

除了核心算力，内存带宽同样是决定AI芯片性能上限的关键因素。思元370是国内率先公开支持LPDDR5高速内存的云端AI芯片，其内存带宽提升至上一代产品的三倍，访存能效更是优于GDDR6方案达1.5倍，从而在处理大规模数据时实现了更高的能效比。为应对复杂的分布式AI训练与推理需求，芯片集成了MLU-Link™多芯互联技术，保障了多颗思元370芯片间能够实现高效协同与算力扩展。在软件生态层面，全新升级的寒武纪基础软件平台引入了推理加速引擎MagicMind，实现了训练与推理流程的一体化整合，这大幅提升了AI模型的开发与部署效率，同时显著降低了用户的学习成本与总体拥有成本。

寒武纪® AIDC® MLU370®-X8智能加速卡训推一体人工智能加速卡

将思元370芯片的强劲性能转化为即插即用的算力解决方案，便是MLU370-X8智能加速卡。这款加速卡采用双芯思元370设计，是一款双槽位、热设计功耗为250W的全尺寸AI加速卡。它提供高达24TFLPOS(FP32)的训练算力与256TOPS (INT8)的推理算力，并全面支持FP16、BF16等多种主流训练精度，为复杂人工智能模型的训练与云端部署提供了可靠的硬件基石。

得益于双芯集成设计，MLU370-X8拥有翻倍的内存容量与编解码资源。其核心亮点在于搭载的MLU-Link多芯互联技术，使得单张加速卡可获得高达200GB/s的双向通讯吞吐性能，这是PCIe 4.0接口带宽的3.1倍。这种卓越的高速互联能力，完美支持单台服务器内八卡的高密度部署，能够高效执行多芯片、多卡的协同训练与大规模分布式推理任务，极大提升了数据中心集群的整体算力利用率。

作为一款全面升级的数据中心级训推一体AI加速卡，MLU370-X8基于思元370芯片打造，采用标准的PCIe 4.0 X16接口，全高全长双槽位（FHFL-Dual-Slot）的标准设计使其能够轻松兼容业界最新的CPU平台，快速集成于各类先进的人工智能服务器中。其250W的功耗设计，为计算机视觉、自然语言处理、智能语音等多样化的AI应用场景提供了强大且高效的算力支撑。

产品规格

在实际的AI工作负载中，真实的性能表现才是衡量硬件的最终标准。根据寒武纪基础软件平台SDK的官方实测数据，在多个主流人工智能模型上，功耗仅为250W的MLU370-X8单卡性能，已能够与市面上主流的350W功耗GPU产品相抗衡。而在更能体现技术深度的多卡并行加速场景中，MLU370-X8凭借其MLU-Link多芯互联技术与寒武纪CNCL通讯库的深度优化，在八卡配置下展现出了更优异的并行加速比与扩展效率，这意味着其能够更有效地发挥大规模AI计算集群的算力潜能。

性能对比

测试环境
250W MLU370-X8：NF5468M5/Intel Xeon Gold 5218 CPU @ 2.30GHz/MLU370 SDK 1.2.0
350W GPU： Supermicro AS -4124GS-TNR/Intel Xeon Gold 6130 CPU @ 2.10GHz/Cuda11.2