寒武纪原生适配DeepSeek V4 国产AI芯片与模型强强联合

今天上午，备受业界瞩目的国产大模型标杆——DeepSeek-V4，正式面向全球发布。

在模型发布的第一时间，基于寒武纪智能芯片与vLLM高性能推理框架的全面适配工作即告完成，完整覆盖了此次发布的285B参数DeepSeek-V4-flash与1.6T参数DeepSeek-V4-pro两大版本。这标志着国产大模型与自主算力平台的深度融合与协同创新，迈入了全新的发展阶段。

从DeepSeek-V3.2到如今的V4版本，寒武纪已连续实现新模型的“Day 0”首发适配。这一成就的背后，是寒武纪在自研NeuWare软件生态体系与先进芯片架构设计领域长期的技术积淀，更是其对“算法与芯片协同设计”这一前沿路径的坚定投入。DeepSeek-V4能够原生高效运行于寒武纪算力平台之上，对于推进中国人工智能产业的自主可控与生态繁荣，具有重要的里程碑意义。此前，双方通过深度的软硬件协同优化，已在算力利用效率方面达到了行业领先水平。

本次适配工作，从“极速模型迁移”与“极致性能调优”两个核心维度，集中展现了寒武纪在AI计算全栈技术上的深厚实力。

快速完成 DeepSeek-V4 新模型适配，实现 Day 0 首发

如何在模型发布当日即完成高效适配？这得益于一套从软件生态到硬件架构的完整技术组合。

在软件生态层面，寒武纪NeuWare软件栈全面兼容开源生态，原生支持PyTorch、vLLM、Diffusers等主流AI框架，为各类新模型的快速迁移与部署奠定了坚实基础。

更进一步，通过与国产众智FlagOS开源生态的深度协同，寒武纪致力于打破模型与异构芯片架构之间的生态隔阂，从而大幅降低模型适配与移植的综合成本。

在核心算子开发环节，技术团队充分利用Triton编译器良好的社区兼容性与开发便捷性，实现了高性能算子的快速开发与精准适配，显著缩短了功能迭代与上线周期。

尤为值得一提的是，在AI辅助开发领域，寒武纪创新研发了名为CNAgent的智能代码生成助手，它能够辅助工程师完成从算子代码生成到整体模型迁移的全流程工作，为研发效率提供了强大的智能加速。

而在硬件底层架构上，寒武纪芯片原生支持BF16、FP16、INT8等主流低精度数据格式，这意味着无需进行繁琐的格式转换，即可快速完成功能验证与精度对齐。正是这种贯穿软硬件的深度协同设计，确保了在模型发布当日即可实现稳定、高效的运行，真正兑现了“Day 0”无缝适配的承诺。

极致性能优化，释放 DeepSeek-V4 推理潜能

实现功能适配仅是起点，如何充分释放模型潜能，实现更快速、更经济的推理，才是真正的技术挑战。针对DeepSeek-V4引入的创新模型结构，寒武纪进行了系统性的专项极致优化。

一方面，通过自研的高性能融合算子库Torch-MLU-Ops，对模型中的Compressor、mHC等关键计算模块进行了针对性加速。同时，利用BangC高性能编程语言，为稀疏/压缩Attention、GroupGemm等核心热点算子编写了深度优化的计算内核，充分挖掘硬件底层的极致性能。

另一方面，在推理框架优化上，寒武纪在vLLM中全面集成了TP/PP/SP/DP/EP五维混合并行、通信计算重叠、低精度量化以及PD分离部署等先进技术。通过一系列精细化的策略优化，在满足严苛服务响应延迟要求的同时，追求最优的词元吞吐能力，从而显著提升端到端的整体推理效率。

硬件特性亦被深度利用：借助MLU芯片强大的访存与排序加速能力，有效加速了稀疏Attention、Indexer等复杂结构；凭借其高互联带宽与超低通信延迟的优势，将Prefill（预填充）和Decode（解码）两种不同负载特征场景下的通信开销降至最低，最大化分布式推理的集群算力利用率。

归根结底，正是这种从硬件特性出发、坚持软硬件一体化协同的设计哲学，使得寒武纪能够在大模型的实际生产部署中，持续追求更低的总体拥有成本（TCO）与更高的性能上限。展望未来，寒武纪表示将持续深耕大模型软硬件协同生态，致力于为开发者和企业客户提供更快速、更经济、更高效的大模型部署与推理解决方案。