字节跳动AI训练新突破：渐进式学习让模型更高效稳定

训练大型语言模型的成本问题，一直是制约AI技术普及与创新的核心瓶颈。动辄数百万美元的计算投入与长达数月的训练周期，令众多研究机构与企业难以承受。然而，字节跳动与北京大学联合研究团队近期提出了一项突破性方案——借鉴生物生长的智慧，让AI模型实现“渐进式”扩展，而非一次性构建完成。这一名为SPARKLING（信号保持与对称性破坏的宽度渐进式学习）的新范式，有望从根本上重塑大模型的训练经济性与效率。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈

该研究成果已于2026年2月正式发表于arXiv预印本平台。其核心理念极具启发性：与其耗费巨资直接训练一个参数庞大的终极模型，不如先高效训练一个较小规模的模型，随后在训练过程中，令其像植物生长般逐步“增宽”至目标尺寸。这为降低大模型训练门槛提供了全新的技术路径。

传统的大模型训练方式，如同一次性建造摩天大楼，所有环节必须同步到位，资源消耗集中。而SPARKLING代表的渐进式学习策略，则类似于先建造一栋功能完备的小型建筑，在投入使用的同时，再根据需求稳健地向上、向外扩建。实验证明，这种方法不仅能显著节省高达35%的训练成本，更在多项下游任务评测中，使最终模型的性能表现超越了传统方法训练的同等规模模型。

事实上，模型扩展的思想在AI领域早有探索。类似于为长大的植物更换更大的花盆，“深度扩展”（增加网络层数）已有较多研究。然而，“宽度扩展”（增加每层神经元的数量）却长期面临严峻挑战，被视为一个技术难题。

一、AI模型“宽度扩展”的核心挑战是什么

要理解SPARKLING方法的精妙，首先需厘清为何模型“增宽”如此困难。这绝非简单复制神经元参数即可，其背后存在两大根本性障碍：信号失真与对称性锁定。

可以将一个训练良好的AI模型，类比为一个配合默契的交响乐团。信号失真问题，就好比在乐团演奏时，突然为某组乐器接入一个功率不匹配的放大器——原本和谐平衡的声场被瞬间破坏，输出变得扭曲或模糊。在神经网络中，每一层传递的信号强度均处于精妙平衡状态，贸然插入新的神经元，会严重干扰这种平衡，导致训练效率急剧下降甚至失效。

对称性锁定问题则更为隐蔽。当通过复制现有神经元来扩展网络宽度时，这些新加入的神经元如同“克隆体”，它们拥有完全相同的初始参数和优化历史。在后续训练中，它们接收完全相同的梯度更新，因此其行为模式始终一致，无法学习到多样化的特征表征。这使得新增的计算资源沦为无效的“摆设”，无法提升模型的表达能力。

已有研究表明，传统的简单扩展方法在训练初期可能看似有效，但随着训练深入，信号失真与对称性锁定的负面影响会逐渐凸显，最终导致扩展后的模型性能反而不如扩展前的基础模型。这好比一栋未经周密设计就仓促扩建的房屋，面积虽增，结构安全与居住体验却大打折扣。

二、SPARKLING的解决方案：精准的信号控制与对称性破除

针对上述两大难题，SPARKLING框架提出了两套精准的解决方案：信号保持机制与对称性破坏策略。其目标，是成为一位能指挥乐团平稳融入新乐手而不失和谐的音乐总监。

信号保持机制，旨在维持网络内部信息流的稳定性。研究团队通过严谨的数学分析发现，网络每一层对输入信号的强度（通常以均方根量级衡量）存在一个最优范围。他们的关键创新在于，推导出了一套精确的初始化缩放公式。无论是对输出维度（增加本层神经元数）还是输入维度（增加前一层信号维度）进行扩展，都能计算出新增参数应如何初始化，从而确保扩展前后信号强度始终稳定在最优区间，有效避免了“音量失调”问题。

对称性破坏策略，则专门用于打破“克隆神经元”的僵局，促使它们快速走向功能分化。SPARKLING设计了一套巧妙的组合拳：首先是“优化器状态重置”，即清空新增神经元对应的优化器历史动量等信息，让它们从零开始积累更新方向；其次是“非对称学习率预热”，为新增部分设定与原有部分不同的学习率调整计划，引导它们探索不同的参数优化路径。这就如同为双胞胎安排不同的学习路径与导师，最终培养出各具特色的专业能力。

三、实验验证：显著的成本节省与性能优势

任何理论创新都需要坚实的实验支撑。研究团队选择了结构复杂的混合专家模型作为测试床，进行了严格的对比实验。

他们首先训练了一个包含5亿活跃参数的基础模型，在训练进程过半时，运用SPARKLING方法将其网络宽度扩展一倍，随后继续训练至完成。评测结果极具说服力：在涵盖常识推理、阅读理解、数学计算等12项多样化任务的测试集上，通过SPARKLING“生长”而来的扩展模型，其综合性能在绝大多数任务上均达到甚至超越了从头开始训练的、同等规模的“巨无霸”模型。

成本效益的数据更为直观。与传统训练方法所需的1800万亿次浮点运算相比，SPARKLING方法仅消耗1170万亿次，实现了35%的计算资源节省。训练总时长也从209小时大幅缩短至140小时，效率提升显著。此外，该方法在AdamW、Muon等不同优化器下均表现稳定，展现了良好的算法通用性与鲁棒性。

另一个关键优势体现在扩展后的“性能恢复速度”上。传统方法扩展后，模型性能通常会出现剧烈震荡与明显下滑，需要较长的“恢复期”才能重回正轨。而采用SPARKLING方法扩展的模型，能够几乎无缝地适应新的结构，性能曲线平稳过渡，这极大地提升了训练流程的可控性与整体效率。

四、理论基础：从“经验技巧”迈向“严谨科学”

SPARKLING并非基于直觉的工程技巧，其背后有着深厚的数学与优化理论根基。研究团队从神经网络在高维空间中的统计特性出发，严格推导出了实现信号保持所需满足的数学条件。对于对称性锁定问题，他们则从优化动力学的视角，深入分析了参数与优化器状态双重对称所导致的梯度更新停滞现象，并据此设计了针对性的破解机制。

这种“理论先行，实验验证”的研究范式本身具有重要意义。它标志着大模型训练领域的一部分工作，正从依赖大量试错的“经验炼金术”阶段，逐步转向有坚实理论指导的“可解释工程科学”阶段。

五、深远影响：重塑AI研发与部署的生态

SPARKLING方法的价值，远不止于一项具体的技术改进。它很可能从多个维度，深刻影响未来AI技术的发展轨迹与产业格局。

在经济性层面，35%的训练成本降低，对于动辄千万美元级别的大模型训练而言，意味着数百万美元的直接节约。这显著降低了前沿AI研究的资金门槛，使得更多高校实验室、中小型科技公司与初创企业有机会参与尖端模型的探索。

在技术范式层面，它成功验证了“动态自适应增长”训练范式的可行性。未来的AI系统或许能够根据任务复杂度、数据规模的变化，像有机体一样智能地调整自身的结构与规模，实现计算资源的按需分配与高效利用。

在产业应用层面，为企业提供了更灵活的模型部署策略。公司可以从一个轻量级、低成本的基础模型开始业务应用，随着用户增长与数据积累，再平滑、渐进地扩展模型能力，无需一次性投入巨额训练成本。这种“小步快跑、渐进投资”的模式，更符合商业逻辑，大幅降低了AI应用的初期风险与试错成本。

当然，研究团队也客观指出了当前工作的局限性，例如主要聚焦于网络宽度的扩展，如何与网络深度扩展进行优雅、高效的结合仍是待探索的课题。同时，该方法在万亿参数乃至更大规模的超大规模模型上的有效性，也有待未来进一步验证。

展望未来，SPARKLING所蕴含的“智能计算”理念——即通过深刻理解系统内在规律，以精巧的设计替代粗暴的算力堆砌——或许正是推动AI技术走向更高效率、更低成本、更广普及的关键所在。它启示我们，在追求模型“更大”的同时，让训练过程“更聪明”，同样至关重要。

Q&A

Q1：SPARKLING方法相比传统AI训练能节省多少成本？

根据论文中的实验数据，SPARKLING方法能够节省高达35%的训练计算成本，并实现约1.49倍的训练加速。具体而言，可将训练所需的浮点运算量从1800万亿次降低至1170万亿次，总训练时间从209小时缩短到140小时。

Q2：为什么AI模型扩展会遇到对称性锁定问题？

对称性锁定问题的根源在于，通过简单复制进行扩展时，新神经元不仅在参数初始化上与源神经元完全相同，其关联的优化器历史状态（如动量）也完全一致。这导致在后续的梯度下降训练中，它们始终接收到完全相同的参数更新方向，因此其演化路径完全同步，无法分化出不同的功能，使得扩展无效。

Q3：SPARKLING方法适用于哪些类型的AI模型？

该研究主要在混合专家模型架构上进行了验证，成功实现了隐藏层维度和专家中间维度的扩展。同时，实验证明该方法与AdamW、Muon等多种主流优化算法兼容，具有良好的通用性。其理论框架具有普适性，有望迁移并应用于其他主流的神经网络架构中。