DeepSeek-V4模型寒武纪平台适配指南发布即稳定运行

今日，AI芯片行业迎来一项关键技术突破。寒武纪宣布，基于vLLM推理框架，已完成对深度求索最新开源大模型——285B参数的DeepSeek-V4-flash与1.6T参数的DeepSeek-V4-pro——的“Day 0”级适配。这意味着模型发布当日，即可在寒武纪硬件平台上实现稳定高效的推理运行。相关适配代码已同步开源至GitHub社区，供开发者直接使用。

实现“发布即可用”的背后，是一系列深度定制化优化。针对DeepSeek-V4引入的创新模型结构，如Compressor、mHC等模块，寒武纪动用了自研的高性能融合算子库Torch-MLU-Ops进行专项加速。同时，借助BangC高性能编程语言，为稀疏/压缩Attention、GroupGemm等计算密集型算子编写了极致优化的内核，旨在充分释放底层硬件的算力潜能。

仅算子优化尚不足够，框架层面的协同优化同样至关重要。在vLLM推理框架中，寒武纪全面支持了TP（张量并行）、PP（流水线并行）、SP（序列并行）、DP（数据并行）及EP（专家并行）五种维度的混合并行策略。结合通信与计算重叠、低精度量化以及PD（参数与数据）分离部署等关键技术，通过多策略组合优化，在满足严格推理延迟要求的同时，实现了最优的词元吞吐率，端到端推理效率获得显著提升。

此外，硬件原生特性也得到了深度挖掘。利用MLU的先进访存与排序加速能力，有效优化了稀疏Attention、Indexer等复杂结构的执行效率。而凭借高互联带宽与低通信延迟的架构优势，成功将Prefill（预填充）与Decode（解码）两种典型工作负载下的通信开销降至最低，从而最大化分布式推理系统的整体资源利用率。

就在今日上午，DeepSeek-V4模型预览版已正式上线并全面开源。该模型具备百万字级别的超长上下文处理能力，在智能体（Agent）能力、世界知识掌握与复杂推理性能方面，均达到了国内乃至全球开源领域的领先水准。用户现可通过官方聊天平台或最新版App与DeepSeek-V4直接对话，体验其超长记忆带来的全新交互可能。其API服务也已同步更新，开发者只需将model_name参数修改为deepseek-v4-pro或deepseek-v4-flash即可便捷调用。