蚂蚁国产万亿级模型技术报告公开攻克能力成本延迟不可能三角

近日，蚂蚁百灵团队正式发布了Ling & Ring 2.6技术报告，详尽披露了三款核心模型——Ling-2.6-flash、Ling-2.6-1T 与 Ring-2.6-1T——在架构设计、预训练策略、后训练优化及推理基础设施方面的完整技术方案。

实际上，这三款模型的权重此前已陆续开源，此次发布主要是补全了背后的技术“说明书”。它们各自针对不同的应用场景：Ling-2.6-flash主打低延迟、高吞吐与高频调用，特别适用于信息抽取、格式转换、批处理及长文本输出等任务，非常适合作为Agent工作流中的轻量级执行节点；Ling-2.6-1T则追求更高的能力密度与更强的通用性能，核心目标是让每个输出token在即时响应场景下承载更多有效信息；而Ring-2.6-1T的定位是复杂推理与Agent任务，强调了长链路规划、工具调用、代码执行、搜索互动及环境交互能力。

▲百灵大模型地址

随着大模型逐步深入Agent、编程、科研分析与企业工作流等复杂任务场景，仅具备“思考”能力已远远不够，模型还必须拥有可靠的推理能力与稳定的工具调用能力，同时有效控制成本与延迟。围绕这一目标，百灵2.6系列提供了一套系统性的技术方案。

三大核心技术：长上下文效率、token密度与原生Agent训练

为使模型在万亿参数规模与真实Agent工作流中，仍能保持长上下文处理效率、输出质量及工具调用稳定性，百灵2.6围绕三个方面进行了系统性优化。

首先关注长上下文效率问题。早期模型采用的GQA（分组查询注意力）架构，一旦上下文长度超过32K tokens，注意力计算便会成为瓶颈。解决方案是采用混合线性注意力架构，将闪电注意力与多头潜在注意力按7:1的比例结合——即每8层中约7层使用Lightning Attention，1层使用MLA。

▲Ling-2.6-1T-base整体架构

Lightning Attention的核心思路，是将序列维度上的计算复杂度从O(n²)直接降至O(n)，而MLA则通过低秩隐空间压缩KV Cache。两者结合后，模型在处理长上下文训练、长文本输出及长链路Agent任务时优势显著。

第二个重点在于提升token能力密度。在后训练阶段，Ling-2.6采用了演化式思维链、语言单元策略优化、双向偏好对齐及最短正确回答蒸馏等方法，核心是让模型学会选择有效的推理步骤，减少重复、循环及低信息密度的“废话”输出。

在Artificial Analysis Intelligence Index榜单上，Ling-2.6-1T仅用约16M输出tokens便获得了34分。相比Ling-2.0-1T，在推理任务上的token效率提升了约4倍。

第三个重点是Agent能力的原生优化。百灵2.6系列并非从普通对话数据中“间接学会”Agent能力，而是直接将其作为训练目标。团队构建了覆盖工具调用、代码编写、搜索操作、工作流执行及多轮交互的大规模Agentic Corpus（智能体语料库），并与可验证任务、结构化工具轨迹及环境反馈进行了深度结合。

在Ring-2.6上，团队进一步提出了KPop算法，采用对称二元KL散度替代IcePop中的固定比例约束，使MoE模型的Agentic RL训练更加稳定。同时，通过异步RL将rollout采集与参数更新解耦，使得编码、搜索、工具调用及工作流执行等长链路任务，能够在万亿参数规模下高效训练。

预训练：基于Ling-2.0，扩展至256K上下文

百灵2.6并非从零开始训练万亿参数模型，而是在Ling-2.0的基础上进行架构迁移、继续预训练与后训练。理由很实际：Ling-2.0-1T此前已投入约20T tokens的训练量，重新训练成本过高，不如在现有checkpoint上进行升级。

架构迁移分为四个阶段：首先进行闪电注意力转换，将部分GQA层替换为Lightning Attention，以降低长上下文计算成本；随后进行线性预热，主要训练并对齐新增参数；接着进行MLA转换，包括去除QK归一化与适配部分旋转位置编码；最后进行MLA预热，通过小规模继续训练使损失值恢复至迁移前水平。整个迁移阶段大约使用了400B tokens。

迁移完成后，模型进入大规模全参数训练阶段。Ling-2.6的预训练共计处理约9.6T tokens，分为迁移预训练（约400B tokens）、继续预训练（约8T tokens，使用4K上下文窗口）及中期训练（约1.2T tokens，上下文窗口逐步扩展至32K再到256K）。

▲Ling-2.6多阶段预训练流程

在数据构成上，团队重点增强了数学、代码、Agentic Data、长上下文语料及多语言语料。Agentic Corpus覆盖了500多个真实MCP环境、3000多个工具，以及多种编程、bash、web QA和软件仓库任务；Long-Context Corpus则涵盖数学、复杂网页解析、长文档摘要、RAG融合及多跳推理等任务。

在base model评测中，团队使用了31个覆盖数学、代码、通用推理、语言理解、世界知识与长上下文理解的基准测试，对Ling-2.6-flash-base、Ling-2.6-1T-base与2.0代模型进行了对比。

整体来看，Ling-2.6-1T-base在世界知识、长上下文建模及推理能力上取得了稳定提升，数学与代码能力也得到了保持。特别是在SimpleQA、C-SimpleQA、MMMLU、LongBenchv2等知识与长上下文任务上，提升幅度十分显著。

▲Ling-2.6-base与Ling-2.0-base在多类基准测试中的对比

Ling-2.6后训练：用更少token实现高质量即时响应

Ling-2.6的后训练，核心目标是优化即时响应与高频调用场景。团队关注的问题是：模型能否用更少的输出token，给出更高质量的回答。

为此，Ling-2.6并未沿用之前相对统一的后训练流程，而是采用了一条“专家驱动”的路线：首先进行cold-start SFT打底，然后分别开展推理与Agent任务方向的专家化训练，接着通过强化学习进一步优化专家模型，最后将专家能力蒸馏回统一的Ling-2.6模型中。

▲Ling-2.6后训练流程

在推理数据处理上，团队首先让专家模型生成多个候选答案，然后筛选出最短的正确回答。对于那些“答对了却还在反复反思”的冗余片段，再使用LLM judge进行裁剪。通过数据层面的处理，模型平均输出长度减少了约200至300个token。

进入强化学习阶段后，Ling-2.6在Evo-CoT基础上引入了动态长度惩罚与语义冗余惩罚。动态长度惩罚让模型在难题上保留必要的推理空间，但在简单任务上压缩过长的输出；语义冗余惩罚则专门用于抑制循环、重复及低价值的反思。

Ring-2.6后训练：聚焦长程Agent任务，强化工具使用能力

Ring-2.6的后训练目标明显偏向复杂、长程、工具密集型的Agent任务。它以Ling-2.6-1T Base为基础，经过cold-start SFT，再进入由KPop算法驱动的推理与Agent专家训练阶段，随后进行专家能力蒸馏，最终形成high与xhigh两种推理配置。

在工具使用数据上，Ring-2.6重点覆盖了三类场景：仓库级代码任务、移动端及网页搜索任务，以及需要多步规划与错误恢复的通用工具工作流。以Coding Agent为例，团队从GitHub中大规模挖掘PR-Issue pairs，筛选条件相当严格：仓库star数超过100、PR已合并且关联closed issue，同时PR中必须包含test patch以便验证。最终筛选出约300K raw pairs。

▲Ring-2.6后训练流程

在Agentic RL阶段，团队构建了一个轻量级Agent框架，提供了execute_bash、search_replace与task_done三种核心工具。训练时最大对话长度为200 turns，评估时扩展到500 turns。针对SWE等长程任务，最终训练数据集包含约2500个实例，来自1550个仓库，覆盖Python、Java、C、Rust、JavaScript等30多种编程语言。

基础设施：长上下文训练、异步RL与推理部署协同优化

在基础设施方面，百灵2.6的优化主要围绕长上下文训练、大规模异步Agentic RL及推理服务展开。团队提出了AllGather-based CP，使Lightning Attention能够更高效地进行超长上下文训练，在256K上下文长度下带来了约68%的端到端加速。RL基础设施ASystem与ARouter则面向长序列rollout进行调度，在长序列场景下带来了超过80%的端到端性能提升。

▲Lightning Attention的上下文并行优化

在推理侧，团队将训练阶段积累的融合算子适配到了真实部署场景，并尽可能保持训练与推理阶段的数值行为一致。这不仅提升了推理效率，也有助于减少强化学习采样中的训练-推理差异。推理侧的kernels能力已通过高性能算子库linghe开源。

▲linghe开源地址：https://github.com/inclusionAI/linghe

结合算子融合、前缀缓存与多token生成，linghe优化的效果显著，大幅提升了整体吞吐量、单用户每秒生成token数及交互稳定性。

结语：国产开源模型，公开更多技术细节

这份技术报告相当完整地公开了百灵团队在万亿参数模型上的技术细节。从结果来看，Ling/Ring2.6在部分复杂推理、工具调用及Agent任务上已展现出较强的实力，但与国际顶尖模型相比，仍存在追赶空间。

报告也坦诚指出，Ling-2.6-flash在高复杂任务中的推理深度与工具调用可靠性仍受思考预算限制；长程Agent在持续变化的工具状态与异构执行环境中，其可靠性仍可能出现下降。下一阶段，百灵团队计划沿着架构优化、系统提升、低精度训练推理、KV Cache管理及多模态Agent方向继续推进。

对开源生态而言，模型开源加上技术报告公开，本身就是值得肯定的举措。它让外界能够深入了解背后的数据构建、训练方法、系统优化等关键环节。期待更多国产大模型团队持续开放模型、工具与技术细节，共同推动开源生态在真实应用能力上不断进步。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：蚂蚁国产万亿级模型技术报告公开攻克能力成本延迟不可能三角要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题