腾讯混元Stem稀疏注意力算法首字延迟降低3.6倍
腾讯混元提出Stem稀疏注意力算法,被ICML-2026收录。该算法通过Token位置衰减与输出感知度量,仅用25%计算预算实现近似无损精度;结合Stem+BSA算子,使128K长上下文首字延迟降低3 7倍。
腾讯混元提出Stem稀疏注意力算法,成功被ICML-2026顶会收录
6月5日,腾讯混元公布了一项重大进展——其自主研发的Stem稀疏注意力算法,已被机器学习顶级会议ICML-2026正式收录。这意味着什么?简而言之,这是在大模型推理效率方面的一次关键性突破。
从整体方案来看,这是一套“算法×算子”的双重优化组合拳。先聚焦算法层面的创新:Stem通过两大核心机制——Token位置衰减(TPD)和输出感知度量(OAM)——成功在仅消耗25%计算预算的情况下,实现了近乎无损的精度表现。换言之,只用四分之一的算力就能获得接近完整计算的效果,这正是突破的关键所在。
当然,仅有算法创新还不够,必须将理论上的稀疏优势转化为实际的加速效果。为此,腾讯混元在高性能计算(HPC)算子层面开源了Stem+BSA算子,这一举措至关重要。它将算法层面的稀疏性成功转变为真实的硬件加速能力。具体数据表明,在128K长上下文场景下,首字延迟直接降低了3.7倍。这个数字不容小觑——在长序列推理中,它能显著提升用户体验,切实缓解了用户等待回复的焦虑感。
值得关注的是,这项工作获得ICML等顶级学术会议的认可,彰显了学术界对高效稀疏注意力方向的持续重视。从产业视角来看,此类研究正为大规模语言模型在实际部署中面临的成本与效率难题,提供日益成熟的解决方案。
游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。
同类文章
地下室发现尘封12年AMD前CEO旧PC苏姿丰签名推土机硬件
一位技工在客户家地下室发现一台属于AMD前CEORoryRead的旧PC,机箱上留有苏姿丰等高管签名,配置为推土机时代硬件且从未开机。这台电脑封存了AMD从推土机失败到Zen架构崛起的关键转折历史。
Laravel 12生态成熟助力全栈开发效率提升
Laravel12延续开发体验优势,在项目结构、查询构建、API开发、调试及性能上持续优化。其生态日趋成熟,形成Reverb、Pulse等完整工具链,覆盖API、SaaS、企业后台及AI应用开发。与Next js的组合逐渐流行,Laravel已演变为现代Web开发平台,保持社区活力。
Linux内核持续演进:Rust语言与零拷贝网络成新焦点
LinuxKernel6 15重大更新:Rust驱动正式入主线,NOVADRM成为首个实践案例;io_uring新增零拷贝网络接收,降低CPU开销与延迟;Btrfs增强实时zstd压缩、DirectIO及稳定性。内核同步推进安全化与高性能网络化。
谷歌Gemini进入Agent时代 打造全天候AI助理
Google推出GeminiSpark、Omni等新功能。Spark可全天候在后台运行,主动处理邮件、日历等任务;Omni侧重视频理解与环境推理,布局世界模型。AI正从被动回答转向主动观察、规划与执行,标志着竞赛进入新阶段。
CPU-Z 2.20.2正式版发布 支持Intel三大平台及AMD锐龙AI Max
CPU-Z2 20 2正式版发布,新增支持IntelPantherLake、WildcatLake、BartlettLake三大架构及AMD锐龙AIMax、Pro系列,加入锐炫G3识别库,修复缓存错误和锐龙77700X3D检测问题,免费下载。
- 热门数据榜
相关攻略
2026-07-10 10:06
2026-07-10 10:06
2026-07-10 10:06
2026-07-10 10:05
2026-07-10 10:05
2026-07-10 10:05
2026-07-10 10:05
2026-07-10 10:05
热门教程
- 游戏攻略
- 安卓教程
- 苹果教程
- 电脑教程

