谷歌大神首次揭秘Gemini预训练：推理成本成最重要因素

谷歌凭借Gemini 2.5 Pro，确实打了一场漂亮的翻身仗。经过各路高手深度评测与实战使用，该模型基本稳居大模型Top 1宝座。除了卓越的写作能力，其编程实力更是难觅对手。更值得关注的是，Gemini系列一贯对免费用户相当友好，就连API也长期免费开放。今天这篇深度解析，源自谷歌内部一场技术分享，主讲人是Vlad Feinberg——Gemini Flash预训练项目负责人。这份PPT信息量极为丰富，系统探讨了Gemini在预训练过程中，如何巧妙平衡算力、数据、模型规模和推理成本这四者之间的复杂关系。

关于大模型的预训练，大家熟知的Scaling Laws其实只是冰山一角。接下来，我们从几个关键维度来拆解这份干货。

一、告别“经验主义”：从Kaplan到Chinchilla的认知革命

大模型训练中有一个经典难题：给定一笔固定的算力（例如1000块H100连续运行30天），怎样才能训练出最强大的LLM？模型参数N应该设置多大？训练数据D该用多少？

早期，业界主要参考Kaplan等人在2020年提出的Scaling Laws。他们的研究表明，模型性能与算力、参数量、数据量之间存在幂律关系，并且强烈建议优先扩大模型参数N。具体来说，算力每提升10倍，参数N应扩大5.37倍，而数据D只需扩大1.86倍。这一规律直接点燃了一场军备竞赛——各家纷纷拼命堆砌参数。

然而到了2022年3月，来自Google DeepMind（GDM）的Chinchilla（龙猫）论文，给这个“参数为王”的时代泼了一盆冷水。

Chinchilla团队指出，Kaplan的研究方法（基于单次训练过程中的中间loss点来推断）存在缺陷，忽略了学习率衰减等优化手段带来的收益。他们认为，只有最终的loss才能最真实地反映模型水平。于是，他们采用了更为严谨的IsoFlops方法：

1. 固定总算力C
2. 训练多个参数N不同的模型（对应的数据量D也会随之变化，因为C ≈ 6 * N * D）
3. 在给定算力下，找到loss最低的那个模型N_opt(C)和D_opt(C)
4. 重复上述步骤，得到不同算力C下的最优（N, D）点
5. 拟合这些最优点的关系

Chinchilla的发现令人震惊：模型参数N和数据量D的增速应大致相当，指数均约为0.5。这意味着，按照Kaplan定律训练出来的很多大模型，实际上是“训练不足”的——模型过大，数据相对太少，潜力根本没有被充分挖掘。更糟糕的是，这些“虚胖”的大模型推理成本极高，部署和使用都相当昂贵。

二、推理成本，不能承受之重

为什么Chinchilla强调的“训练不足”和推理成本如此关键？原因很简单——大模型最终是要实际使用的。

来看看Google内部的实际应用场景：

1. 高通量服务：例如搜索中的AI Overviews、免费的Gemini聊天机器人、企业级Vertex AI平台、AI Studio API等，用户量极为庞大。
2. 实时交互：Project Astra、Project Mariner这类需要即时响应和多模态处理的应用。

这些场景，尤其是实时交互，对模型的推理延迟提出了极其严苛的要求。

Vlad Feinberg在分享中做了一个简单的“餐巾纸计算”：假设一个需要实时交互的Web Agent，上下文128k，每次交互处理8k新token，生成128个token。要求延迟控制在1秒内，去掉250毫秒的网络和处理开销……用Llama3-70B在Google v5e芯片上运行，仅处理8k新token（Prefill阶段）就需要近6秒（单芯）。即使动用4x4=16块芯片并行，也只能勉强压到0.5秒左右。而生成阶段（Decode）更是受限于内存带宽，每生成一个token可能需要好几毫秒。

结论十分明确：对于低延迟场景，70B参数的模型都显得过于庞大。我们需要更小、更快的模型——也就是像Gemini Flash/Flash-lite这样的“小钢炮”。

传统的Scaling Law研究往往只关注训练loss，完全忽视了推理成本，这在真实应用中根本行不通。

三、迈向新范式：推理感知的Scaling Laws

既然推理成本如此关键，有没有更科学的方法来指导预训练？答案是肯定的。

Sardana等人在2024年提出了“推理感知”的Scaling Laws。核心思想是：不再仅仅最小化训练loss，而是要优化“总成本”，这个总成本涵盖了训练成本和生命周期内的全部推理成本。

它的数学形式更加复杂，需要综合考虑训练和推理使用的硬件（MFU不同）、输入/输出token量等多个因素。

但结论很明确：

考虑到推理成本后，最优的模型往往比Chinchilla定律建议的更小，但需要用更多的数据（或重复训练更长时间）！

当然，这种新范式也面临诸多挑战：

1. 硬件非同质性：训练和推理所用芯片不同，成本很难统一衡量。
2. 推理量D_inf难以预测：模型性能提升会刺激更多使用（杰文斯悖论），市场会持续扩张。
3. Scaling Law拟合本身不完美：尤其在数据量极大或极小的情况下，拟合误差可能会很大。

为了解决拟合问题，Muennighoff等人（2023）提出了考虑数据约束的Scaling Law，引入了唯一数据量U和重复次数R的概念 L(N, U, R)。他们的研究发现，重复数据的收益会快速衰减。这意味着，在数据有限的情况下，更小的模型对重复利用数据更为有效。

那如果数据“无限”呢？Llama3训练了15T token，loss仍在持续下降，这说明对于开源模型来说，只要算力允许，就可以一直用所有数据训练下去。但这是否是最优策略？用数据受限定律可以反推：如果用更少、更精的数据，达到同样的效果，能节省多少算力？以Llama3 8B模型为例，可能只需原来72%的算力。

四、新维度：蒸馏与其他

除了模型大小、数据量、推理成本，模型蒸馏也成为一个重要的研究方向。Busbridge等人（2025）正在研究蒸馏的Scaling Laws，试图量化教师模型和学生模型之间的成本与性能关系。

如何用有限的算力训练出“小而精”的学生模型？教师模型的能力上限、学生模型的“容量差距”、蒸馏过程中的技巧（比如温度控制），都是需要深入探索的问题。一个有意思的观点是：蒸馏本质上是一种方差缩减——好的教师模型能提供更稳定的学习信号，减少学生模型学习过程中的“噪声”。

观点总结

最后，我们汇总一下Vlad Feinberg分享的几个核心观点：

Scaling研究的两大方向：

1. 提升曲线：在给定的模型大小下，做到更好的性能。
2. 增加斜率：让模型性能随规模增长得更快。

Gemini的策略：类似“Tick-Tock”节奏——用Flash版本追赶上一代Pro版本的性能，不断迭代优化推理效率。

推理效率是关键：压缩技术（更高级的蒸馏、量化、服务友好型模型设计）与Scaling研究同等重要。

低成本研究机遇：

• 硬件感知Kernel优化：针对特定硬件编写算子，例如下一代Flash Attention。
• 量化新前沿：超越传统的向量量化方法。
• FunSearch类方法：利用LLM辅助搜索更好的模型结构或训练策略。
• 更鲁棒的Scaling Laws：引入更多维度（如数据质量、重复度），使用更严谨的统计模型（比如MLE vs. 最小二乘），甚至通过主动学习来选择最优的（N, D）实验点。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：谷歌大神首次揭秘Gemini预训练：推理成本成最重要因素要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题