MSA与稀疏注意力激战正酣，三国杀局面开启

上周，MiniMax 推出了 M3 模型，其核心亮点包括：编程能力显著提升、超长上下文处理以及原生多模态能力。我们先来看一下官方公布的性能数据。

图中红色曲线代表 M3 的表现。综合来看，在编程和 Agent 工具调用方面，M3 确实达到了业界前沿水平，与 Opus 4.7、GPT-5.5 基本处于同一梯队。少数表现稍弱的项目，我们会在后续内容中提及。

不过，相较于排行榜上的成绩，更值得深入关注的，是它官方公告中技术含量最高的部分——一个名为 MSA 的模块，其全称是 MiniMax Sparse Attention，即稀疏注意力机制。

发布当天，官方仅提供了博客文章和一张架构图，许多细节尚未明确。如今，完整的技术论文已经公开，长达 30 页。仔细研读后，收获颇丰：之前悬而未决的细节得到了全面阐述，而且附录中几个实验的趣味性和启发性甚至超过了正文。本文的许多细节，正是来源于这篇论文。

回顾近两年，但凡国内模型讨论长上下文技术，几乎都绕不开“稀疏注意力”这个核心概念。我们先梳理一下当前市场上的主要方案：NSA 和 DSA 均来自 DeepSeek，去年 2 月引发广泛讨论的 Native Sparse Attention 是 DeepSeek 发表的论文，而去年 9 月随 V3.2 上线的 DSA 则是其生产级实现；Kimi 推出了 MoBA，于 2025 年 2 月与 NSA 几乎同时发布；现在 MiniMax 又带来了 MSA，为 M3 模型提供配套支持。

乍一看，这些方案似乎都在做同一件事，连名称都颇为相似。但将四份方案的论文放在一起对比分析，会发现它们外表相似，内在的技术选择和取舍实则大相径庭。今天，我们就来深入探讨，把这四份方案放在同一张桌子上，详细剖析它们之间的核心差异。

一、核心问题：为何业界纷纷拥抱稀疏注意力

要理解稀疏注意力，首先需要明确它要解决的核心问题是什么。

注意力机制是 Transformer 架构的基石。简单来说，模型每生成一个新词，都需要回顾所有已生成的内容，并计算当前应当重点关注哪些信息。这种遍历所有历史信息的操作，就是全注意力。

瓶颈就出在“所有”这两个字上。

假设上下文中有 n 个词，模型每生成一个新词，都需要回顾全部 n 个词。当生成到第 100 万个词时，仅这一步就需要处理 100 万次，整个过程的累计计算量达到了 n 的平方级别，即 O(n²)。当上下文长度仅为一千个词时，问题不大；但当上下文长度达到一百万词时，平方级计算量将导致万亿级别的运算规模。

这不仅仅是算力问题。模型还需要存储所有前置信息以备查询，这些存储内容被称为 KV 缓存。上下文越长，缓存越大，显存很快就会被耗尽。

因此，实现百万级上下文在技术上早已可行，真正的拦路虎是经济账：成本太高，难以大规模部署。

稀疏注意力的思路可以用一句话概括：在生成下一个词时，完全没必要真的回顾全部一百万个词。其中绝大部分是无关信息，模型只需精准找出真正相关的一小部分进行精细计算即可。

至于“找谁、怎么找、找得多细”，这正是各家方案分歧的核心所在。

这里也需要交代一下 MiniMax 自身的技术演进路线，因为它此次选择稀疏注意力并非一时兴起。早期的 MiniMax-01 和 M1 走的是另一条更为激进的路线，即采用以线性注意力为主的混合架构，试图绕过 softmax 函数，将 O(n²) 的计算量直接降低到接近线性水平。随后，M2 又回归到了传统的全注意力架构，并专门发表了一篇长文解释原因。兜兜转转，M3 最终选择了稀疏注意力这条中间路线。这条路没有线性注意力那么激进，但比全注意力节省得多，可以说是 MiniMax 在实践中探索出的一个平衡点。

二、MSA 的工作原理详解

我们先深入剖析主角 MSA，然后再与其他方案进行对比。

论文中，MSA 的架构被定义为两个分支：一个索引分支，一个主分支。官方架构图如下所示：

这张图全是英文标注，看起来可能有些复杂。我们将其翻译并解释清楚：

根据这张图，MSA 的实现思路可以理解为：先粗筛，再精算，分两步走。

第一步，粗筛。索引分支将历史上下文分割成若干块（每块包含 128 个 token），并采用一种非常轻量级的打分机制，快速评估每个块与当前生成内容的相关性：先对块内每个 token 进行打分，取块内最高分作为该块的得分，然后从中选出 16 个块：当前 token 所在的块必选，其余按照得分高低进行挑选。

第二步，精算。主分支仅在选出的这 16 个块上执行完整的注意力计算，而未被选中的块则直接跳过。16 个块乘以 128 个 token，等于每生成一个词，固定只精算 2048 个 token。无论上下文是 10 万还是 100 万，MSA 的精算预算都是固定的。这就是节省成本的关键所在：全注意力的开销会随着上下文长度增长而增加，而 MSA 则将精算预算固定下来。

打个不太严谨的比方。你要在一本一千页的书中寻找一段话，全注意力是从头到尾逐字阅读；MSA 则是先翻阅目录和小标题，圈出最可能相关的几页，再逐字精读这几页。前者确保不遗漏，但速度慢；后者快得多，但赌的是“目录”足够可靠。这个比喻中有个关键点需要澄清：书的目录是印死不变的，而 MSA 的“目录”是每写一个新词就重新翻阅、重新排序的，并且没有人为它编写，而是模型自己学习出来的。如何学习，我们下面马上讲解。

在阅读论文之前，我有个疑问：这个负责挑选块的索引分支，自己不也需要扫描全文进行打分吗？为什么它的成本不高？论文给出了答案：轻量到令人惊讶。注意力可以理解为有 64 只眼睛并行工作，这是主分支的配置；而索引分支则被削减到仅用 1 只眼睛进行粗略扫描。此外，打分时还跳过了 softmax 中最耗时的指数运算，理由很简单：挑选 top-k 只关心排名，无论是否进行 softmax，排名都不会改变。粗筛的成本因此被压缩到几乎可以忽略不计。

还有一个更关键的问题：挑选 top-k 这个操作是不可导的，无法通过常规训练方法教会索引分支“该挑选哪个块”。论文的解决方案是为它配备了一套完整的训练流程：让索引分支以主分支的注意力分布作为“老师”，通过 KL 散度进行对齐；训练信号只更新索引分支自身的参数，不干扰主干网络；在前 40 亿个 token 的训练中，先运行全注意力进行“热身”，待索引分支学习得足够充分后，再开启稀疏模式。

这就像学徒先跟着老师傅观察学习，看明白之后才放手让其独立挑选。即使放手后，老师傅也没有下岗，KL 对齐过程仍在被选中的块上继续进行。至于学徒完全没有选中的块如何纠错，论文没有详细展开，只提供了一个监控数据：索引分支挑选出的块，覆盖了主分支 90% 以上的注意力权重，用结果证明了其有效性。

在算子层面，论文详细阐述了博客中提到的“outer gather Q”。常规稀疏 kernel 的做法是以 Query 为中心：每个 Query 各自去提取它需要的 KV 块，导致同一块数据被不同的 Query 反复读取。MSA 则反过来，以 KV 块为中心：将所有选择了这个块的所有 Query 聚集到一起，一次性计算完成，每块数据只读取一次。这就像仓库拣货，与其让每个订单派一个人满仓库跑，导致同一个货架被反复踩踏，不如按货架组织，在一个货架前一次性处理所有需要该货架货物的订单。

论文为此算了一笔账。首先需要说明一个背景：GPU 的特点是计算速度极快，但数据搬运很慢，瓶颈往往在于搬运而非计算。因此，衡量这类 kernel 性能优劣的指标，是看每次搬运数据进来能进行多少次计算，专业术语称为“计算访存比”。以 Query 为中心组织，这个比值大约等于注意力的组内头数，在论文实验模型的配置下是 16；以 KV 块为中心组织，大约是块大小的三分之二，对于 128 的块来说就是 85 左右。仅 top-k 选择这一步的 kernel 实现就能快 3-5 倍，计算访存比的提升最终体现在了实际测试中。

顺便提一句，去年 NSA 的论文中也有一套面向 GQA 的数据装载设计，但方向正好相反，它是以 Query 位置为中心，将一组头聚集在一起装载。之前我以为两者是同一思路，读完论文才发现理解反了，而这个反转恰恰是 MSA kernel 的核心创新。论文的作者除了 MiniMax，还有北京大学和 NVIDIA 的研究人员，在 kernel 层面投入了巨大精力。

在效率方面，论文给出的数据是：在一个 109B 参数的实验模型上，当上下文长度达到 1M 时，MSA 的注意力计算量缩减到了全注意力基线的 1/28。在 H800 上实测，预填充阶段快了 14.2 倍，解码阶段快了 7.6 倍。

论文还诚实地解释了为什么实测加速比未能达到 28.4 倍的理论值：建立索引、挑选 top-k、聚集 Query 等操作本身都会产生额外开销。这种将丑话说在前面的写法，值得肯定。不过，我们也需要替读者问一句：这些数字全部来自论文的实验模型，M3 模型本身有多大、实际运行起来能快多少，论文并未披露，只能等待第三方实测结果。

节省了这么多成本，模型的性能是否会下降？论文进行了 3 万亿 token 的对照实验：同一个 109B 模型，一个使用全注意力训练，一个从头开始使用 MSA 训练，两条损失曲线几乎重合。

在各类下游基准测试中，从头开始稀疏训练的版本不仅在性能上没有落后，反而在长文本检索、数学、视频理解等多个项目上超越了全注意力基线，例如 RULER-8K 一项，得分为 84.2 对 79.8。

论文中还有一条对行业可能更具实用价值的路线：MSA-CPT。它可以对一个已经训练好的全注意力模型，仅用 400B token 进行继续训练，就能将其改造为稀疏注意力模型，且性能几乎无损。换句话说，MiniMax 顺手也为生态打开了改造入口，未来 Qwen、GLM 等模型如果想实现百万级上下文，都有了更便捷的路径。当然，改造版并非在所有方面都完美无缺：论文为其追加了 128K 的长文扩展实验，综合检索分仍比全注意力模型低 0.6 分，重排序任务则差距 2 分以上。论文在结尾承认这是残余差距，需要通过更长的稀疏训练或增加选择预算来弥补。

最后，我们来谈谈整篇论文中最有趣的部分——附录。

附录中有一张可视化图，展示了训练好的索引分支究竟在挑选什么内容。每个小图代表一个 attention 头的选择概率热力图：

图中可以观察到三种模式：沿对角线的深色带，表示永远关注最近的内容；最左边一条竖线，表示所有头都盯着开头的几个 token 不放（当注意力分数必须全部分配出去，但内容又没什么值得关注时，开头的 token 就成了“停车场”，业内称之为“注意力下沉”现象）；以及各组各不相同、呈斜向的条纹，表示不同的头各自负责回顾不同距离的远程信息。没有人教过它这些，全都是通过 KL 对齐训练，模型自己涌现出来的。

更有趣的是论文接下来的操作。既然“下沉”现象如此普遍，是否应该像 GPT-OSS 那样，为每个头显式添加一个可学习的下沉参数？尝试了，但没有收益，于是删除。早期版本还强制要求索引分支必须选中开头第一块和附近的局部窗口，后来发现模型自己就会这样选择，强制规则纯属多余，也一并删除。最终版本只保留了一条强制规则：当前 token 所在的块必选，以防止模型连眼前的内容都不看。

这一连串“试过了，没用，删掉”的负面结果，比任何宣传语都更能说明 MSA 的设计哲学。论文开篇就写道：遵循奥卡姆剃刀原则，经过消融实验，只留下必不可少的组件。

三、四方博弈：三个核心分歧点

在深入剖析了主角 MSA 之后，我们可以将四份方案放在一起进行对比了。

首先交代一下 NSA 的背景。它于 2025 年 2 月 16 日首次发布到 arXiv，与 Kimi 的 MoBA 几乎同时面世，正式将稀疏注意力从一个实验室构想推向了台前。

但这二者并非同一家公司的同一技术的两个版本：NSA 和 DSA 是 DeepSeek 不同团队在不同时间点的不同实现。NSA 是学术论文，而 DSA 是 DeepSeek 半年后发布 V3.2-Exp 时所采用的生产级实现。它们同源，但落地方式不同，NSA 是三分支架构，DSA 则采用了更轻量的 Lightning Indexer 进行 token 级别的精细挑选。一个偏学术完备，一个偏生产高效。

至此，场上其实只有三家公司：DeepSeek（手握 NSA 论文和 DSA 实现两张牌）、Kimi（MoBA）、MiniMax（MSA）。到今天 MSA 发布，稀疏注意力几乎已成为国产模型实现长上下文的标配技术。

但标配不等于做法相同。这四份方案的分歧，主要集中在三个维度上。

分歧一：挑选粒度——Token 级还是块级

前面提到，稀疏注意力需要挑选相关的内容进行计算，那么挑选的粒度应该多大？

DeepSeek 的 DSA 挑选得最细，是 token 级别的。它的 Lightning Indexer 为每一个历史 token 单独打分，再精确挑选出最相关的 2048 个 token。

MSA 和 MoBA 走的是块级路线。它们不逐个 token 挑选，而是先将上下文切成块，以块为单位进行打分，并整块整块地选择。MoBA 的打分方式更为粗糙一些：将块内所有 key 向量取平均值作为该块的代表，连额外参数都不引入。

这里有一个非常工整的对比细节：DSA 每个 Query 挑选 2048 个 token，MSA 挑选 16 块乘以 128 也是 2048 个 token，预算完全相同，分歧全在粒度。

DSA 赌的是，逐个 token 挑选能够捕捉到散落在各处的零碎信息；MSA 赌的是，相关内容通常成段聚集在一起，按块挑选就足够了，而且块状的内存访问对 GPU 更加友好。MSA 论文中直接指出了 token 级方案的一个问题：在长上下文场景下，仅从一百万个 token 中执行 top-k 挑选这个动作本身，就会占用不可忽略的延迟。

还是用读书的比喻。DSA 像逐字挑选出书里所有相关的词，MSA 和 MoBA 像按段落、按章节来挑选。前者更精准，后者更省事，赌注不同。

分歧二：是否压缩 KV 缓存

这一条是我认为最有意思的分歧，它背后隐藏着两种不同的技术信念。

DeepSeek 的路线是两层叠加。底层有一个名为 MLA 的设计，它先将 KV 压缩成一个更小的潜在向量再存储，以节省显存。然后，DSA 再叠加在 MLA 之上，在压缩后的 KV 上执行 token 级别的稀疏选择。它的官方报告写得很直接：DSA 是“建立在 MLA 之上的”。DeepSeek 既压缩又选择，节能省显存的路线一以贯之。

MSA 不压缩 KV，是一个纯选择器，论文原话称为“selector-only design”。KV 原原本本地存储，所有功夫都花在“选得准”上。

这背后像是两种不同的信念。DeepSeek 认为信息经得起压缩，模糊一点没关系，省下来的显存更有价值。MiniMax 则不这么认为：要节省就节省在挑选环节上，真正需要计算的那一下，要保证精确性。

分歧三：是否需要辅助分支

NSA 是一个三件套结构，三条分支并行工作：一条压缩分支，一条选择分支，还有一条滑动窗口分支。三条分支各管一摊，最后通过一个学习出来的门控机制进行加权汇总，理论上覆盖得最全面。NSA 还有一个巧妙的设计：选择块所用的重要性分数不必另行计算，直接复用压缩分支计算注意力时的副产品，几乎零成本。

MSA 则砍掉了另外两条，只保留了“初筛加精算”的选择动作。

这个减法本身就是一种态度，而且读完论文发现，这个减法是经过对照实验验证后才做出的决定，并非图省事。论文专门拿一个计算量完全对齐的基线进行了对比：在同样的稀疏预算下，固定只看开头一块加最近的窗口，在一系列 Agent 任务上性能一致地更差。结论是，位置固定的稀疏模式不如让模型自己动态选择。滑动窗口分支不是忘记了做，而是验证过不值得单独保留。

还有一个对比中常被忽略的角度：MoBA。它和 MSA 一样是块级选择，但它有一个独特的取舍，可以在全注意力和稀疏注意力之间灵活切换。MoBA 论文在百万上下文实验中的用法很实际：模型最后 3 层保留全注意力，其余层使用 MoBA；预填充阶段使用稀疏，生成阶段则切回全注意力。这说明 Kimi 自己也清楚稀疏在哪些环节存在短板，通过混合配置来规避。

因此，如果用一句话概括 MSA，那就是：它更像是 NSA 的减法版本。将三件套精简为一件，赌的是工程上的简洁和易于落地，而非论文中的面面俱到。

在三个分歧之外，还有一条暗线：那个负责挑选块的“小脑”，是如何训练出来的。四家给出了三种答案。NSA 让它搭主结构的便车，端到端一起训练；MoBA 干脆不给它配参数，蹭主模型的学习信号；DSA 和 MSA 则不约而同地选择了第三种，单独为“小脑”找老师，也就是前面提到的 KL 对齐那一套。越靠近生产环境的方案，越倾向于第三种，这说明生产级方案在训练流程上正在趋于收敛。这应该不是巧合：到了千亿参数规模，训练稳定性比架构的优雅性重要得多。

下面这张表格将四份方案的取舍放在一起，可能更清晰。

四、为何“低成本”才是百万级上下文的关键

讲完技术细节，我们退一步来看。这四份方案的核心目标其实是一致的：将长上下文从“能做”变成“用得起”。

这件事的意义比百万这个数字本身更大。长程 Agent 连续工作十几个小时、在百万行代码库中排查问题、将数小时的视频一次性喂入理解——这些更酷的能力，全都建立在长上下文“用得起”这个前提上。只有底座便宜了，上层建筑才能盖起来。

M3 也并非在所有项目上都达到了顶峰。官方公布的测试中，有一项叫做 PostTrainBench 的测试，M3 得分为 0.371，排在 Opus 4.7 和 GPT-5.5 之后。前沿技术也在不断进步，Anthropic 已经更新到 Opus 4.8，6 月 9 日又发布了更强的 Fable 5。但 M3 的强项在于，它能将编程能力达到前沿、原生多模态、以及真正的百万级上下文这三者集于一身，并且是开源的。

将前沿能力带入开源世界，这件事本身就有分量：开源模型所能获得的能力上限，又被提升了一个台阶。论文还承诺将 MSA 的推理 kernel 单独开源，不过截至本文截稿时，它提供的仓库地址还是 404 状态，有待后续放出。

回到开头的问题：为什么 2026 年大家都不约而同地奔向稀疏注意力？

因为全注意力这条路线，在百万级这个量级上，经济账已经算不过来了。而线性注意力又过于激进，训练和质量上的问题尚未解决。稀疏注意力，是当下这个阶段，在省钱和保质之间一个还算靠谱的平衡点。

这场技术竞赛的下一回合其实已经打响了。DeepSeek 今年 4 月发布的 V4，将百万级上下文下每个 token 的推理计算量压缩到了 V3.2 的 27%，KV 缓存更是仅剩 10%，这得益于其压缩得更狠的新一代注意力方案。对照分歧二那条线来看，DeepSeek 将“压缩”的信念贯彻到底；而 MiniMax 刚刚交出的，是“精选”的答卷。两边都不是纸上谈兵，而是各自旗舰模型上的真金白银投入。

至于 MSA、DSA、MoBA、NSA 谁的取舍最正确，现在下结论还为时过早，毕竟四家押注的筹码本来就不一样。DSA 多花一笔打分成本，赌细粒度挑选物有所值；MSA 赌的是选得准比压得狠更重要；NSA 追求的是面面俱到；MoBA 最务实，给自己留了随时切回全注意力的退路。

哪种赌注能赢，需要更多真实场景的长跑来进行验证。但有一点已经很清楚：长上下文这场仗，比拼的不再是谁能做到百万级，而是谁能让百万级上下文便宜到可以随意使用。

参考资料

• 《MiniMax Sparse Attention》论文：https://github.com/MiniMax-AI/MSA/blob/main/docs/MiniMaxSparseAttention.pdf

• MiniMax M3官方博客：https://minimaxi.com/blog/minimax-m3

• 《Why Did M2 End Up as a Full Attention Model?》：https://www.minimax.io/news/why-did-m2-end-up-as-a-full-attention-model

• DeepSeek DSA（V3.2，DSA instantiated under MLA）：https://api-docs.deepseek.com/news/news250929

• NSA论文：https://arxiv.org/pdf/2502.11089

• MoBA论文：https://arxiv.org/pdf/2502.13189

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：MSA与稀疏注意力激战正酣，三国杀局面开启要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题