开源Llama版o1发布，3B小模型反超80B复现OpenAI缩放定律

o1完整版公开仅10天后，Scaling Law新范式即被成功逆向工程复现！

Hugging Face官方直接发布文章，开源了一套扩展测试时计算的方法。效果如何？将这套方法应用在看似不起眼的Llama 1B模型上，数学分数直接超越了8倍大小的模型，甚至还超过了计算机科学博士生的平均分数（40%）。

换成Llama 3B呢？性能提升幅度更大，直接能与20几倍大的70B模型一较高下。

OpenAI的o1配方保密严密，既未公开实现细节也未提供代码。但团队另辟蹊径，基于DeepMind之前公布的研究成果，完成了自身实验——且跑出的效果相当出色。

在DeepMind研究基础上，Hugging Face团队做了两项关键改进：

• 多样化验证器树搜索（Diverse Verifier Tree Search），简单但高效，能在算力预算充足时显著提升多样性和整体性能。

• 开源轻量级工具包Search and Learn，配合推理框架vLLM，可快速构建各种搜索策略。

测试时计算扩展策略

目前扩展测试时计算主要有两条路线：自我优化与搜索。

自我优化路线，模型通过识别并修正自身迭代中的错误来改进输出（或“想法”）。但团队发现，该方法虽然对某些任务有效，却要求模型内置自我优化机制，适用范围受限。

搜索方法则是生成多个候选答案，再利用验证器选出最佳方案。搜索策略更灵活，能根据问题难度动态调整——这也是团队重点研究的方向，因为实用且易于扩展。

验证器可以是任何东西，从硬编码规则到可学习的奖励模型。这里主要讨论可学习的验证器。

具体涉及三种搜索策略：

• Best-of-N：对每个问题生成多个回答，用奖励模型给每个候选打分，选择分数最高的（或加权版本）。核心思路是注重质量而非数量。

• Beam Search：一种系统性搜索方法，通常搭配过程奖励模型（PRM）使用，优化中间步骤的采样和评估。PRM不是像传统奖励模型只给最终答案一个分数，而是为推理过程的每一步分配分值，这种精细反馈非常适合大模型。

• 多样化验证器树搜索（DVTS）：团队新开发的Beam Search变体。将初始Beam拆成多个独立子树，再用PRM做贪婪扩展。该方法能提高解决方案的多样性，尤其在算力预算较大时效果更明显。

实验设置：3种搜索策略PK

具体实验流程如下：

• 先把数学问题输入给大模型，生成N个中间步骤。
• 每个步骤由PRM打分，估算该步骤最终导向正确答案的概率。
• 搜索策略根据这些步骤和PRM分数，决定下一步探索方向。
• 终止后，PRM再对最终候选方案排序，输出最终答案。

为确保公平比较，团队选用了以下开放模型和数据集：

• 语言模型：Llama-3.2-1B-Instruct 作为主要实验对象。因为轻量级模型迭代快，且在数学基准测试上性能尚未饱和，能清晰看出效果差异。
• 过程奖励模型：Llama3.1-8B-PRM-Deepseek-Data，与语言模型同属一个系列，测试中表现更优。
• 数据集：MATH-500（MATH基准的子集，由OpenAI发布），涵盖7个科目，对人类和大多数模型均有挑战性。

实验结果：动态分配策略才是最优解

先看多数投票策略，相对贪心解码基线有明显提升，但收益在N=64之后基本停滞。团队分析，这是因为多数投票难以处理需细微推理的问题，或几个错误答案扎堆的情况。

引入奖励模型后，所有策略的表现都上了一个台阶。

Best-of-N有两种变体：原版不考虑答案间的一致性；加权版则汇总所有结果相同的答案，再选总分数最高的。结果发现加权版始终优于原版，尤其在算力预算大时更明显——因为那些频率低但质量高的答案也能被选出。

Beam Search终于让1B模型的表现超过了8B模型。不过它并非万能：在简单问题上反而输给了Best-of-N。团队查看结果树后发现，一旦某个中间步骤得了高分，整个树就会“坍缩”到这一步，导致后续答案多样性不足。

最终，DVTS方法解决了多样性问题。它与Beam Search的区别在于：

• 给定Beam宽度M和生成数量N，初始Beam集设定为N/M个独立子树。
• 对每个子树，挑出PRM分数最高的步骤。
• 生成M个新步骤，继续选分数最高的。
• 重复直到生成结束符或达到最大深度。

按问题难度细分后发现，DVTS在N较大时能显著提升简单/中等难度问题的性能；而Beam Search在N较小时仍是王者。

所以说，最终方案是：根据问题难度动态分配策略，才能取得最佳成绩。

最后，团队也指出了未来值得探索的方向：

• 更强大的验证器——提高稳健性和泛化能力是关键。
• 终极目标是实现自我验证，但目前在实践中还很难，需要更细致的策略设计。
• 在生成过程中加入明确的中间步骤或“想法”，把结构化推理整合进搜索过程，有望在复杂任务上获得更好表现。
• 搜索方法可用来合成数据，创建高质量的训练数据集。
• 开放的流程奖励模型目前还很少，这是开源社区能做出重大贡献的领域。
• 当前方法在数学和代码这类可验证的问题上表现出色，但如何扩展到结构松散或评判主观的任务，仍是一大挑战。

评论区有网友指出，这种方法更适合本地部署而非API调用——因为调用256次3B模型和过程奖励模型，通常比调用一次70B模型更贵。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：开源Llama版o1发布，3B小模型反超80B复现OpenAI缩放定律要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题