Kaplan Scaling 理解指南

一句话解释

Kaplan Scaling 指的是随着模型参数、训练数据量和计算量的增加，模型性能按照可预测的幂律曲线提升的规律。

为什么会被关注

在训练 GPT-3、PaLM 等超大规模模型时，开发者需要决定投入多少算力。Kaplan Scaling 提供了量化依据，让工程师能提前预估性能增益，避免盲目增加参数或数据。

这一发现让“大力出奇迹”的大模型路线有了理论支撑，也引发了业界对“缩放红利”何时见顶的持续讨论，成为大模型军备竞赛的底层逻辑之一。

核心逻辑

核心是三个要素之间的幂律关系：模型参数量、数据集大小和计算预算（FLOPs）。当其他两个固定时，第三个的提升会带来稳定的性能收益，且边际收益递减。

例如，在计算预算固定时，模型参数和数据量之间存在最佳分配比例。Kaplan 等人通过大量实验拟合出经验公式，指出应同时增加模型和数据的规模，而非单独放大某一项。

常见场景

当你决定训练一个新的大模型时，可以用 Kaplan Scaling 估算达到目标性能所需的参数和数据量，从而合理规划 GPU 集群和训练时长。

在论文或技术报告中，研究人员常用该定律解释为何选择特定规模的模型，或说明“更大模型加更多数据”能持续带来收益。它也是评估新兴高效架构（如 MoE）的基准。

容易混淆的点

Kaplan Scaling 不是指所有 AI 任务都适用。它主要针对自回归语言模型的负对数似然损失，对于推理、多模态等任务，缩放趋势可能不同。

许多人误以为缩放是线性的，实际是幂律——初期提升快，后期需要指数级资源才能换取微小提升。此外，它与 Chinchilla Scaling（最优计算量分配）不同，后者强调数据量应比参数增长更快。