MIT研究揭示：算法近十年进步程度被高估

机器之心报道

机器之心编辑部

过去十年，AI领域的飞跃主要依赖于两种相辅相成的驱动力：迅猛增长的计算预算，以及持续的算法创新。

相比之下，计算量的增长相对容易衡量，但我们仍然难以对算法进步的贡献进行精确量化。究竟是哪些技术革新带来了效率提升？这些提升的幅度有多大？在不同计算规模下，它们是否依然有效？这些问题依然没有清晰的答案。

2024年，一项研究通过分析数百个语言模型发现，在过去的十年里，算法进步在所谓的“有效计算量”（effective compute）方面贡献了超过4个数量级的提升。而根据对历史AI文献的分析，计算规模本身则增长了7个数量级。

具体来说，所有算法创新的累积效应，使得模型的整体效率提升了约22，000倍。这意味着，理论上可以用少得多的浮点运算次数（FLOPs）达到相同的性能水平。

然而，我们仍然缺乏对这类进步进行精确分解的方法，关于算法进步来源的许多关键问题尚未得到充分研究。例如：各种算法改进之间是如何相互作用的？算法进步是由一系列微小改良迭代累积而成，还是由少数几次重大突破推动的？算法改进是像摩尔定律那样平滑持续地发展，还是呈现间断平衡（即长时间停滞 + 突然跳跃）的模式？

为了回答这些问题，来自MIT等机构的研究人员采用了三种互补的方法：

对语言模型中的重要算法改进进行消融实验；开展规模扩展（scaling）实验，以测量不同架构在最优扩展行为上的差异；对数据与参数的规模转换（scaling）进行理论分析。

论文地址：https://arxiv.org/pdf/2511.21622
论文标题：On the Origin of Algorithmic Progress in AI

最终得到三条核心结论：

1. 经过实验评估，大多数算法创新只带来了小幅的、与规模无关的效率提升，总体计算效率提升不到10倍。即使将模型推算至2025年的计算能力极限（2 × 10²³ FLOPs），这些提升也仅占总改进的不到10%。这表明，与规模无关的算法进步在整体效率提升中所占的份额很小。

2. 本文发现有两项强烈依赖规模（scale-dependent）的算法创新：从LSTM到Transformer架构的转变，以及从Kaplan到Chinchilla的最优缩放定律。当将其外推至2025年的计算前沿时，这两项创新合计占据了全部效率提升的91%。这意味着：对于小规模模型而言，算法进步的幅度比此前认为的要小几个数量级。

3. 在依赖规模的创新型创新的情况下，效率提升不仅需要持续的计算投入，而且算法进步的速度还强烈依赖于你所选择的参考基线算法。换句话说，相对于某个基线算法，连续模型之间的进步率看起来可能是指数级的；但相对于另一个基线算法，它却可能完全为零。

总体来看，这些发现表明：算法进步可能本质上就是依赖规模的，要真正体现其效益需要不断扩大计算规模。同时，这也意味着算法进步对于大型模型开发者的益处远大于对小规模参与者的益处。

规模不变型算法创新与规模依赖型算法创新的对比