腾讯混元Stem稀疏注意力算法首字延迟降低3.6倍
腾讯混元提出Stem稀疏注意力算法，被机器学习顶会ICML-26接收。通过Token位置衰减与输出感知度量，仅用25%算力实现近无损精度。结合高效HPC算子库，在128K上下文场景下首字延迟降低3 6倍。
近日，腾讯混元团队在注意力机制优化方面取得重要突破——他们提出的 Stem 稀疏注意力算法，已被机器学习顶级会议 ICML-26 正式接收。简单而言，这是一种从“因果信息流”视角重新定义块级稀疏的方法，核心目标明确：以更低的计算开销，实现接近稠密注意力的精度水平。
官方披露的两大核心创新点分别是：Token 位置衰减（TPD）与输出感知度量（OAM）。这两项技术听起来偏学术，但实际效果非常显著——仅需 25% 的计算资源，即可达到与稠密注意力几乎一致的精度。这意味着什么？意味着大规模语言模型在推理阶段的成本有望大幅缩减，同时模型效果几乎不受影响。
更进一步，理论上的加速比要真正落地，离不开扎实的工程实现。混元团队同步开发了高性能 HPC 算子库，将稀疏策略带来的收益切实转化为硬件层面的实测性能。根据 Stem 算法与 HPC 算子构成的全栈加速方案：在算法侧，TPD 与 OAM 在 25% 预算下实现了近乎无损的精度；在算子侧，开源的 Stem+BSA 算子将稀疏优势转化为真实的硬件加速——在 128K 上下文长度下，首字延迟降低了 3.6 倍。这个数字放到生产环境中，用户体验的提升是立竿见影的。
你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：腾讯混元Stem稀疏注意力算法首字延迟降低3.6倍要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题
游乐网为非赢利性网站，所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系youleyoucom@outlook.com。
相关热点京东近日发布了国内首个专门为智能体自主支付设计的协议——A2P2协议。该协议将AI支付自主化程度系统性地划分为L0至L5六个等级，重点聚焦L3和L4级别，让智能体能在用户设定的规则边界内自主完成支付。为确保安全，协议首创了ARI机制，在支付时实时核验用户、智能体身份及运行环境，并采用资金账户隔离设计
VGN推出新款霓虹75Air磁轴键盘，单模有线版售价259元，三模无线版售价339元。该键盘采用75%配列，搭载天霸Air轴，主打电竞级性能，支持8kHz回报率、128kHz扫描率以及0 1ms低延迟，并具备0 005mm精度的RapidTrigger快速触发功能。外观上配备雾透键帽与霓虹灯带，
爱国者御风F90机箱上市，采用十字散热风道与MESH网孔面板，最多可装10个风扇，支持顶部和前部360水冷。兼容ATX主板，CPU散热器限高170mm，显卡限长395mm，提供2个3 5英寸和2个2 5英寸硬盘位，有黑、白两色可选。
北京越野BJ81“战术方盒子”硬派SUV的申报信息于近日公布。新车采用标志性方盒子造型，提供6座布局，车身尺寸为4850×2050×1975mm，轴距2810mm。本次申报新增了运动版BJ81VJ，升级22英寸轮圈、305 45宽胎等运动套件。动力方面搭载1 5T增程系统，电池来自宁德时代。新车预售
- 日榜
- 周榜
- 月榜
热点快看