腾讯混元Stem稀疏注意力算法大幅降低大模型首字延迟
腾讯混元团队提出的Stem稀疏注意力算法获得ICML-26收录，该技术通过算法与算子的全栈优化，显著提升了大模型的长上下文推理效率。算法层面，结合Token位置衰减和输出感知度量，在仅使用25%计算预算下保持了近无损精度。配套的HPC开源算子则将稀疏计算收益转化为真实的硬件加速，在128K上下文场景
在追求大模型推理效率的竞争中，注意力机制的优化已成为重要突破口。近日，腾讯混元团队公布了一项关键技术成果，其提出的Stem稀疏注意力算法成功被机器学习顶级会议ICML-26收录。该技术致力于解决长上下文场景下模型推理延迟过高的问题，通过算法与算子的协同优化，实现了性能的大幅提升。
该方案的核心在于算法与硬件层面的双重革新。在算法层面，Stem稀疏注意力算法创新性地引入了Token位置衰减（TPD）和输出感知度量（OAM）两项核心技术。据团队透露，该方法能够在仅使用25%的计算预算下，实现接近无损的模型精度，这为高效推理提供了坚实的理论基础。
全栈加速方案赋能硬件级性能提升
仅有高效的算法远远不够，如何将算法优势转化为实际的硬件加速效果是另一项关键挑战。为此，腾讯混元团队同步开发了HPC（高性能计算）开源的Stem+BSA算子。这套算子专为Stem算法量身优化，能够将稀疏计算带来的理论收益，高效地转化为实际的硬件执行能力。
最终的测试结果充分验证了全栈方案的有效性。在长达128K的上下文长度场景下，该方案将模型生成的首字延迟降低了3.7倍。首字延迟是衡量大模型交互响应速度的核心指标，这一显著降低意味着用户等待模型首次响应的时间大幅缩短，对提升聊天机器人、代码生成等实时应用的用户体验至关重要。这一进展也体现了行业在优化大模型推理效率、降低部署成本方面的持续深入探索。
你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：腾讯混元Stem稀疏注意力算法大幅降低大模型首字延迟要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题
游乐网为非赢利性网站，所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系youleyoucom@outlook.com。
相关热点TP-LINK深圳总部要求全体员工将劳动合同转签至注册资金仅3000万元的全资子公司思码逻辑，因保障缩水风险引发员工强烈抵制。内部投票显示近九成参与员工拒绝签字。与此同时，部分员工社保状态异常，面临断缴风险，叠加此前超140人的裁员以及企业主体迁出等变动，导致内部人心动荡。这家曾占据全球路由器市场4
本田中国5月销量数据出炉，单月总交付量仅为28279辆，同比大幅下滑48 7%，销量近乎腰斩。与2020年前后的市场巅峰期相比，如今整体体量仅剩约两成。这已是本田中国连续第27个月同比下滑，跌幅仍在加深。颓势根源在于电动化战略预判失误，产品梯队崩塌，新能源车型销量惨淡，同时双合资体系内耗严重，部分工
台积电CEO近日在股东会上谈及芯片涨价策略，明确表示不会效仿存储芯片厂商短期价格暴涨数倍的做法，强调公司注重长期稳健经营。然而，供应链消息显示，台积电已计划于2026年下半年上调3纳米制程报价最高15%，2027年可能进一步上涨。CEO指出，AI应用正转向“代理式行动模式”，算力需求激增，全球芯片供
近日，方程豹品牌旗下全新硬派SUV车型“钛9”的路试谍照曝光。新车采用经典的“方盒子”造型，线条平直硬朗，车身立柱垂直，分体式灯组和贯穿式日行灯设计颇具辨识度。侧面配备大轮毂和高离地间隙，车门带有固定踏板，车尾预留外挂备胎位置，整体风格硬派。动力方面，预计将搭载2 0T发动机加双电机的混动系统，综合
- 日榜
- 周榜
- 月榜
热点快看