Chinchilla Scaling 龙猫缩放法则
Chinchilla Scaling 是指 DeepMind 在 2022 年提出的计算最优训练法则，指出当模型参数和训练数据按一定比例同步增加时，计算效率最高。它挑战了“模型越大越好”的传统思路，推动业界重新平衡模型规模与数据量。
一句话解释
Chinchilla Scaling 是一条指导大模型训练如何分配参数和数据量的经验法则：在固定计算预算下，同时按比例增加模型参数和训练数据量，比单独扩大某一方更能提升性能。
为什么会被关注
过去业界普遍认为“模型越大越好”，盲目追求千亿、万亿参数。Chinchilla Scaling 通过实验证明，大多数成熟大模型（如 GPT-3）的实际训练不足——数据量远低于最优比例，导致计算资源浪费。这直接引发了后续模型在数据收集、训练策略上的调整。
核心逻辑
Chinchilla Scaling 的基础是“计算最优训练”假设：给定固定 FLOPs，存在一个最佳参数-数据配比。DeepMind 通过训练数百个小模型外推得到该比例。例如，对于 70B 参数模型，最优训练 token 数约为 1.4T，远超过当时常见做法。这一规律源自网络容量与数据信息熵之间的平衡。
常见场景
1）训练预算规划：在算力资源有限时，先根据 Chinchilla Scaling 确定最佳参数/数据比，再决定模型尺寸。2）数据中心设计：云服务商按该法则评估不同规模集群的性价比。3）研究论文比较：新模型常引用 Chinchilla 比例来证明自己训练更充分。
容易混淆的点
Chinchilla Scaling 与更早的“Scaling Laws”不同：后者只关注模型性能与参数规模的关系，而前者强调数据与参数的联合增长。另外，不少人误以为 Chinchilla 法则要求所有模型都按同样固定比例设计，实际上它依赖于具体计算预算，不同预算下的最优比例会微调。
本文内容用于 AI 热词解释和概念整理，仅供学习和理解参考。若涉及表述偏差或内容修正，欢迎联系站点进行更新。
相关热词DeepMind是一家世界领先的人工智能研究公司，以开发能像人类一样学习和思考的通用人工智能为长远目标。它最著名的成就是其Alpha系列AI，在围棋、星际争霸等复杂游戏中击败人类顶尖选手，并成功将技术应用于蛋白质结构预测等重大科学问题。
大模型是指通过在海量数据上训练、拥有庞大参数规模的深度学习模型，其核心能力在于理解和生成人类语言及各类内容，是当前生成式AI（如ChatGPT）的技术基石。