DeepSeek最新模型上线，全新注意力机制源自北大ACL最佳论文

DeepSeek最新实验性模型今天正式上线，引发业界广泛关注。

此次发布的模型代号为DeepSeek-V3.2-Exp，官方将其定义为最新的实验性探索版本，专注于注意力机制创新。

V3.2的核心构建在DeepSeek-V3.1-Terminus之上，最大变化是首次引入了名为「DeepSeek稀疏注意力」（DeepSeek Sparse Attention，简称DSA）的全新机制。这一设计专门针对长上下文场景，旨在实现更快、更高效的训练与推理。

值得特别强调的是，这是DeepSeek首次用自己的品牌命名一项关键技术——注意力机制。

很多人可能已经注意到，DSA并非凭空诞生。它正是此前与北大合作、梁文锋作为署名作者的那篇ACL 2025最佳论文中，原生稀疏注意力（NSA）的改进版本。

技术报告中的引用内容

全新注意力机制

DeepSeek-V3.2-Exp的核心武器「DeepSeek稀疏注意力」首次实现了细粒度稀疏注意力机制。在几乎不影响模型输出效果的前提下，它显著提升了长文本训练和推理的效率。

论文地址：https://github.com/deepseek-ai/DeepSeek-V3.2-Exp/blob/main/DeepSeek_V3_2.pdf

与之前的模型相比，DSA最大的不同在于：它不再让每个Token面面俱到地关注序列中的所有其他Token，而是引入了一个名为「闪电索引器」的高效组件。

这个索引器能快速判断，对于当前正在处理的Token，序列中有哪些历史Token最为重要。之后，模型只从这些重要Token中选取Top-k——比如2048个——进行精细计算。

这样一来，核心注意力的计算复杂度就从O(L²)骤降至O(Lk)，其中k是一个远小于L的固定值。在处理长文本时，这种效率提升的幅度相当可观。

更关键的是，这种效率提升并未以牺牲性能为代价。

在DeepSeek-V3.1的基础上，团队先用一个简短的「密集预热」阶段来初始化闪电索引器，让它学会模仿原有模型的注意力分布。然后进入「稀疏训练」阶段，使整个模型适应新的稀疏模式。最后，沿用与前代模型完全相同的后训练流程，包括专家蒸馏和混合强化学习（GRPO）。

为了严谨评估引入稀疏注意力带来的影响，DeepSeek特意将V3.2-Exp的训练设置与V3.1-Terminus进行了严格对齐。

DeepSeek-V3.2-Exp的架构图，其中DSA在MLA下实例化。

评估结果也很说明问题：无论是在短文本还是长文本任务上，DeepSeek-V3.2-Exp的表现与其「密集注意力」的前身V3.1-Terminus相比，均未出现实质性的性能下降。

而在实际部署的推理成本测试中，端到端的加速效果和成本节约则非常显著。

虽然DeepSeek-V3.2-Exp目前仍是一款实验性模型，但它所展示的「性能不降、成本骤减」特性，已经为大模型突破长文本瓶颈指明了一条充满希望的工程路径。

价格更便宜

没错，DeepSeek又一次将模型价格拉了下来。

得益于新模型服务成本的大幅降低，官方API价格也相应下调，新价格即刻生效。在新的价格政策下，开发者调用DeepSeek API的成本将降低50%以上。

目前API的模型版本为DeepSeek-V3.2-Exp，访问方式保持不变。

最后，论发布节奏，DeepSeek这次算是听取了网友的建议，给众多AI圈的朋友们放了个好假。

参考资料：
https://api-docs.deepseek.com/zh-cn/news/news250929