阿里千问斩获NeurIPS 2025最佳论文，揭秘模型性能提升核心原理

11月27日，人工智能领域的顶级学术会议NeurIPS 2025正式公布本年度的最佳论文奖。阿里巴巴旗下通义千问团队凭借在注意力机制领域的创新研究，从全球5524篇投稿中脱颖而出，成为唯一获此殊荣的中国研究团队。

这项突破性研究首次系统揭示了注意力门控机制对大语言模型性能与训练稳定性的影响机制。研究团队通过在1.7B参数稠密模型与15B混合专家模型上进行超过3.5万亿token的大规模训练，并进行了30余组对照实验，不仅验证了门控注意力在提升模型性能方面的显著效果，还成功应用于新一代Qwen3-Next模型，显著提升了模型的推理能力与鲁棒性。

通义千问团队研究成果荣获NeurIPS 2025最佳论文奖

作为大语言模型架构中的关键技术组件，注意力门控机制如同模型的"智能降噪耳机"，能有效过滤冗余信息，提升关键特征的提取效率。近年来，从AlphaFold2到Forgetting Transformer等前沿模型都尝试将门控机制与注意力计算相结合，但学术界始终缺乏对门控在注意力机制中有效性的理论解释，也缺少在工业级规模模型上的实践验证。

在本研究中，研究人员首次清晰阐述了门控注意力背后的工作原理，并系统展示了在注意力计算中应用门控机制的最优方式及扩展实践。实验结果显示，对各个注意力头的输出施加门控是提升模型性能最有效的方式。

具体而言，采用该方法仅需引入1%的额外参数，计算开销增幅低于2%，即可实现困惑度下降0.2以上、MMLU基准测试提升2个百分点的显著效果。进一步研究发现，该技术方案在更大规模模型训练上展现出更优的性能提升潜力。

通过论文方法，模型在引入少量额外参数和计算开销的情况下，实现了性能的显著提升

深入分析表明，注意力门控机制还解决了大模型长期存在的两大技术难题：注意力池现象，即少数特殊token在计算中产生异常大的注意力分数；以及大规模激活问题，即模型激活值出现远超正常范围的离群值。这两种现象在BF16等低精度训练环境下容易引发数值误差，影响训练稳定性与部署效果。实验数据显示，门控注意力将首token注意力占比从46.7%降至4.8%，同时将最大激活值从1053降低至94。

目前，该技术方案涉及的全部实验模型及产品级实现均已开源。NeurIPS评审委员会对此评价道："我们相信该方法将获得广泛应用，这项重要工作将极大推动学界对大规模语言模型中注意力机制的理解。"

通义千问团队表示："对门控机制等基础组件的深入理解，不仅为大语言模型架构设计提供了新思路，也为构建更稳定、高效、可控的大模型奠定了坚实基础。"

据了解，阿里千问系列模型目前已开源300余款不同规模架构的模型，覆盖全模态、全尺寸，全球下载量突破7亿次，衍生模型数量超过18万个，持续领跑全球开源社区。