杨植麟GTC2026宣布月之暗面换掉三大核心并全部开源

大模型训练的地基，正在被一家中国公司悄悄撬动。在GTC 2026的演讲“How We Scaled Kimi K2.5”中，月之暗面CEO杨植麟没有只聚焦K2.5这一个产品，而是把过去一年多公司想清楚的一件事摊开了：当开源模型要逼近闭源前沿，除了继续堆参数和算力，还有另一条路——把Transformer时代沿用了近十年的三个基础组件，各自重新做一遍。优化器Adam（2014年提出）、注意力机制（2017年）、残差连接（2015年），月之暗面给这三个地基组件各递上了一个替代方案，而且全部开源。

杨植麟把整条技术路线拆成了三个方向，每个方向都对应一块难啃的骨头：让每个Token更值钱、让更长的上下文真正有用、让多个Agent同时协作。除此之外，他还抛出了两个重要进展：视觉训练如何反哺文本能力，以及月之暗面刚公布的下一代架构Attention Residue。

先说最现实的一道墙：高质量数据快不够用了。互联网上，有价值的文本本就有限，模型越做越大、要的数据越来越多，大家迟早撞上那道“数据墙”。既然数据很难翻倍，月之暗面的思路就变成：让模型从同样的数据里学到更多。给出的答案是MuonClip，一个用来替代已经用了十多年的Adam优化器。它基于Muon优化器，在更新参数时尽量让不同方向的信息保持独立，减少重复和浪费，从而提高训练数据的利用效率。实验结果是：用同样数量的数据，MuonClip的训练效果接近把数据量增加一倍。这既压低了训练成本，也推高了模型能力上限。杨植麟打了个比方：手里若有50万亿个高质量Token，效率提高一倍，就等于又多出50万亿Token。在优质数据越来越稀缺的当下，这种效率提升，比单纯加算力更关键。

不过，Muon有个麻烦：模型扩展到万亿参数后，注意力层里的数值容易失控，最大logit会突然飙升到1000以上，而正常范围通常只有50到100。数值继续膨胀，训练曲线就会发散，整个训练可能直接崩掉。月之暗面为此设计了QK-Clip，在模型前向计算时实时检查每个注意力头的最大logit，一旦超过安全范围就同步缩放Q和K的投影把数值压回来。它不改变收敛效果，只负责维持数值稳定。靠着QK-Clip，Muon被成功扩展到万亿参数规模，训练了超过15万亿Token，整个过程没出现过一次loss spike。

第二个方向，是让长上下文真正发挥作用。杨植麟引用了Scaling Law论文作者Jared Kaplan等人的实验：LSTM读到一定长度后效果就难再提升，而Transformer上下文越长、预测通常越准，且难见明显饱和点。这个特性在Agent时代尤为要紧——复杂任务可能持续几天甚至几周，模型得记住之前做了什么、得到过哪些结果、哪些方向已经失败。长上下文若不能持续提供有效信息，任务链条很容易断掉。麻烦在于，标准全注意力的计算量随上下文长度平方增长，扩大十倍，计算量可能增加一百倍，到百万Token级别，训练和推理成本都高得吓人。月之暗面的解法是Kimi Linear，核心是名为KDA（Kimi Delta Attention）的线性注意力机制。它让模型学会哪些信息长期保留、哪些快速忘掉。传统线性注意力只有一个全局衰减系数，像所有内容共用同一个遗忘按钮；KDA把一个衰减系数拆成多个，不同信息通道可用不同遗忘速度，慢衰减的通道保留长距离信息，快衰减的通道及时腾出空间吸收新内容。实际使用中，Kimi Linear按3比1的比例把线性注意力层和全注意力层混合。杨植麟称这是第一个在短上下文、长输入和长输出任务上都能全面超过全注意力的架构，当上下文扩展到百万Token甚至更长时，效率优势会更明显。

第三个方向，是从一个Agent变成一支Agent团队，月之暗面称之为Agent Swarm。它的组织方式像一家公司：一个主Agent充当CEO，负责理解目标、拆解任务并分配给多个子Agent，子Agent可以分别扮演研究员、程序员、数据分析师和事实核查员，完成后由主Agent汇总。最大价值是把串行任务改成并行，过去一个Agent要依次搜索、阅读、分析、编码、核查，现在几十甚至几百个Agent可以同时开工。训练这种协作并不容易，月之暗面设计了三种奖励：实例化奖励鼓励主Agent创建更多可并行子任务、避免退化回串行；完成奖励要求子任务真正做完、防止为刷奖励批量开空任务；最终结果奖励判断任务是否真正解决。三种奖励的权重随训练动态变化，前期重任务拆解与并行化，后期转向最终结果。从演示来看，Agent Swarm能同时下载阅读几百个信息源完成研究、并行撰写上百页文献综述的不同章节、同时分析十个数据集。Kimi K2.5发布时，它已支持最多100个Agent并行、任务最多执行1500个步骤，而今年4月发布的K2.6，把并行上限提高到了300个。

一个意外收获，出现在视觉与文本的融合上。K2.5与前代K2的关键区别，是改用早期融合训练：过去很多开源多模态模型走后期融合，先用约20万亿文本Token训出语言模型，再用约2万亿多模态Token把视觉能力贴上去；K2.5则从训练一开始就把视觉和文本数据混在一起，在K2文本基座上又训练了约15万亿混合Token。这带来了两个让杨植麟兴奋的结果。其一是只训练视觉任务也能提升文本推理：研究团队只让模型数数、识图、做视觉问答，没加数学或编程训练，文本推理能力却也变强了。换言之，模型在练“看”的同时，“想”的能力也提升了。其二是反向的，如果文本基座足够强，模型甚至不一定需要专门的视觉SFT数据——K2.5采用零视觉SFT方案，所有监督微调数据都是纯文本，再通过文本与视觉联合的强化学习获得视觉能力，最终在视觉任务上仍接近最先进水平。杨植麟认为，这种双向迁移来自早期融合：当文本和视觉进入同一表征空间，一种模态学到的能力才有机会迁移到另一种，这也是K2.5能看图写代码的根基。

演讲末尾，杨植麟介绍了月之暗面刚发布的新研究Attention Residue（注意力残差），论文发表于3月15日，距离演讲仅两天。残差连接是2015年由何恺明等人提出的深度网络基础技术，如今是Transformer的标准组件，它让每一层既处理上层结果、又保留一条直接传递信息的通道，使深层模型能稳定训练。杨植麟援引Ilya Sutskever的说法，把残差连接理解为旋转了90度的LSTM——LSTM在时间维度上传信息，残差连接在深度维度上传信息。既然Transformer已经用注意力替代了LSTM在时间维度上的循环，那么深度维度是否也能同样替换？Attention Residue就是这个思路的产物：标准残差主要用上一层输出，而它允许当前层查看所有前序层输出，再通过注意力决定哪些历史信息保留、哪些忽略，让模型从被动接收上层结果，变成主动从整个计算历史中挑选信息。为控制成本，实际采用分块版Block Attention Residual，每16层组成一个块，块内仍是标准残差，块间才用注意力残差，实验显示约8个块就能拿到大部分收益。它带来了约24%的Token效率提升，按杨植麟的算法，50万亿Token效率提高24%等于额外增加12万亿Token，在GPQA、MATH、HumanEval等推理、数学与编程测试上提升尤其明显。

把三件套摆在一起看，月之暗面的替代清单清晰得近乎挑衅：Adam换成MuonClip、全注意力换成Kimi Linear、残差连接换成Attention Residue，分别对应怎么从有限数据学更多、怎么更高效用超长上下文、怎么让深层网络更灵活传信息。三者都能相对独立地替换现有组件，且都已开源。这些技术能否直接叠加、增益能否简单相乘，目前还没经过完整验证，但它们至少说明了一件事：很多被认为已经足够好的基础组件，可能远没有到达终点。在优质数据越来越少、训练成本越来越高的当下，重新设计优化器、注意力机制和残差连接，同样可能带来可观的提升。这也正是杨植麟整场演讲想表达的核心——开源模型不能只是开放，还必须足够强。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：杨植麟GTC2026宣布月之暗面换掉三大核心并全部开源要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题