蚂蚁集团周俊谈万亿参数模型：从追求数量转向深耕密度
万亿参数模型运行15分钟的算力成本相当于一辆特斯拉。蚂蚁集团提出从堆叠Token数量转向提升Token密度，采用线性注意力架构将长上下文计算复杂度降至近似线性，结合Kpop算法等优化，Token用量下降4倍且模型能力不降，千亿参数模型在多项Agent评测中实现越级表现。
在AICon大会上，蚂蚁集团副总裁周俊的发言引发广泛关注。他算了一笔令人印象深刻的账：一个典型的万亿参数大模型，仅运行15分钟所消耗的算力成本，就相当于一辆特斯拉汽车的市场售价。这一直观对比揭示了前沿AI模型惊人的“烧钱”速度——当模型尚未真正落地，训练与推理的能耗便已吞噬大量预算，“提效降本”不再是锦上添花的优化课题，而是智能体时代必须直面的生存挑战。
面对这一困境，周俊团队提出了一项根本性的思路转变：与其持续堆叠Token数量，不如将重心转向提升“Token密度”。换言之，就是让每个Token产生更大价值，而非依赖数量取胜。这一新范式的技术基础是一条融合创新的线性注意力架构——他们将7份Lightning Attention与1份MLA组合。该方案的核心优势在于：处理256K长度的上下文时，计算复杂度从传统方案那种指数级陡峭攀升的曲线被压缩为近似线性增长。这一突破意味着算力不再大量浪费在无意义的计算膨胀上，而是更集约地用于真实的推理与决策环节。
仅有架构还不够，团队还集成了Kpop算法。该算法能精准区分工具调用指令与自然语言语义Token之间的差异——听起来简单，但在混合任务场景中价值极高。配合思维链剪枝、自蒸馏等一系列协同优化手段，实测结果相当亮眼：在不牺牲模型能力的前提下，整体Token输出量下降了约4倍。更值得关注的是，在LongBench、BFCL等权威Agent专项评测中，蚂蚁的千亿参数模型已能超越不少参数规模更大的竞品。而在实际交互场景中，小型化模型的flash吞吐率提升2.4倍，完成五轮多步对话所需的算力投入更是降低了超过10倍。
这不是靠堆料硬扛，而是通过架构层面的重构，让每一份算力都用在刀刃上。从行业视角来看，周俊的分享不仅为大模型工程化落地提供了一套可复用的方法论，更重要的是为下一代智能体的轻量化、高响应、低成本演进指明了方向。当算力瓶颈日益成为制约AI深度渗透各行各业的那道真实门槛，蚂蚁体系内推动的这一系列效率革命，正在悄然点亮行业前行的一盏新灯。
以下关键信息值得反复咀嚼：万亿模型15分钟运行成本≈一辆特斯拉，效率跃升已然迫在眉睫；范式从“更多Token”向“更高Token密度”迁移，混合注意力架构让长上下文的成本变得线性可控；Kpop算法加上多项优化技术的结果，是Token用量削减4倍、能力不降反升，千亿模型在多个Agent基准测试中达成了越级表现。
你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：蚂蚁集团周俊谈万亿参数模型：从追求数量转向深耕密度要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题
游乐网为非赢利性网站，所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系youleyoucom@outlook.com。
相关热点火龙果写作通过热点词库锁定高潜力关键词、智能伪原创进行语义级改写、插入结构化SEO元素及健康度扫描四个步骤，实现机器可读性与人工可读性同步达标，提升搜索引擎收录效率。
利用NovaAI分析文学作品隐喻时，需上传完整文本并选择“隐喻识别与结构解析”目标。按“落笔为骨→着墨为心→字纲织肉→心跳成活”阶序引导AI逐阶解析，验证隐喻边界，并导出含原文引句、AI解析及批注栏的Markdown文件。
LongCatAI通过LoZA注意力机制精准聚焦关键内容，DiNA多模态编码实现图文深度融合，GA智能体动态管理上下文信息，在读取过程中自动过滤冗余，将长文本视为动态知识流，持续优化信息密度，显著提升长文档处理效率与准确性。
近日，抖音处置涉魔改经典儿童动画违规内容2 34万条，封禁账号1300个。部分账号利用AI技术篡改经典动画，植入低俗暴力情节诱导未成年人互动。平台已下架内容并禁言账号，以维护清朗网络空间，保护未成年人健康成长。
- 日榜
- 周榜
- 月榜
热点快看