大模型内丹修炼：AI自我进化的新阶段

今年以来，高级大模型市场正在激烈上演一场“神仙打架”的竞争态势。Claude 3 Opus、Gemini Pro 1.5、GPT-4 Turbo连续在各类权威排行榜上登顶，不断刷新“城头变幻大王旗”的格局；与此同时，Meta计划在未来数周内发布Llama 3，OpenAI则透露将在“不久的将来”推出GPT-5。整个行业可谓热闹非凡，竞争空前激烈。

在multimodal多模态大模型风头正劲的同时，高级大模型比拼的核心战场正悄然回归——聚焦于解决更为复杂的问题。例如，GPT-4 Turbo的最新版本就特别强调了在数学推理、逻辑推理及编程能力方面的显著提升；而OpenAI与Meta AI的高层也多次公开表示，具备System-2级别的深度推理能力，将是下一代大模型的核心竞争力所在。

若仔细梳理当下的技术路线，语言大模型推理能力的提升主要存在三条路径（图1）：

• 一是借助CoT思维链、ToT思维树、Plan-Reflection计划反思等技巧的“外家功夫”；
• 二是利用推演过程（例如数学题的详细演算步骤）与强化学习进行深度预训练的“内功心法”；
• 以及直接对Transformer架构进行根本性改造的“内丹修炼”。

图1: 外家功夫 vs 内功心法 vs 内丹修炼

目前，绝大多数大模型厂商已将第一条路径交由生态体系去发展，而第二条路径当前尚缺乏足够的泛化性。因此，借鉴了混合专家（Mixture-of-Experts, MoE）成功经验的“内丹修炼”路线，自然成为了硅谷当下的研究“显学”。今天，我们就来分享一些有趣的“炼丹”思路和前沿论文。

“炼丹”核心思路

Transformer在实现System-2深度思考的道路上仍面临不少障碍。Andrej Karpathy曾批评大模型缺乏“慢速思考”的能力，而Yann LeCun则认为LLMs无法做到“先思考后表达”。如果站在宏观视角审视，会发现这些障碍的一个主要根源是：Transformer过于“平等”地对待每一个Token。

在经典Transformer中，每一个Token的生成都要经历相同规模的Block或Layer，耗费相同的时间（MoE虽然会选择不同的Expert，但计算规模与时间消耗并未改变）。简单问题与复杂问题，在大模型这里被一视同仁，并不会因为问题复杂就多进行一次点积运算。

而当下“炼丹”的主要思路之一，正是打破这种“平等”状态，主要包含两个核心方向（图2）：

图2: 炼丹的主要思路，Graph inspired by YT "All About AI"

• 其一，分而治之（Divide & Conquer），建立Token的“分类”机制，使其能够根据Prompt的复杂度，合理匹配相应的计算资源；
• 其二，思而后言（Think before Talk），为Transformer建立“思考”机制，使Token的生成不再完全依赖于概率，而是在多个候选方案中择优选择。

分而治之：基于计算预算的动态分配

Google DeepMind最新提出的Mixture-of-Depths（MoD）正是“分而治之”理念的实践探索。MoD的核心思路是：通过前置的Router模块，实现对每个Token的动态计算资源分配，从而在降低总体FLOP计算量的同时，确保生成结果的准确性。

在MoD中，每个Layer均由两条线路构成（图3）：左边是速通路线，Token不参与任何计算；右边是经典路线，Token参与包括Self-Attention和MLP在内的全部计算。MoD的具体工作流程如下：

图3 MoD的机制[1]

• 首先，由用户指定计算“预算”（Capacity），即Context Window中参与计算Token的比例，例如50%或25%；
• 其次，Router会为每一个Token计算一个标量权重（Weight），该权重代表Router对该Token是否应参与计算的倾向性；
• 最后，基于预设的预算与所有Token的权重，Router从中选出top-k参与计算的Tokens，其余Token则经由速通路线直接抵达下一层Layer。

这个Router由Neural Network实现，并通过参与Gradient Descent Optimization与MoD共同训练而成。

MoD的评测结果相当亮眼：由于有相当数量的Token无需参与计算，MoD能够减少50%的FLOPs，同时提升60%以上的Forward Pass速度，并且生成质量完全保持不变。

显然，在MoD中，每个Token不再拥有“平等”计算的机会。尽管Router尚未完全实现依据问题复杂度匹配资源的理想状态，但MoD在Token级别的实践，已经充分验证了“分而治之”这一技术路线的可行性与巨大潜力。

思而后言：让模型先生成内部思考链再回答

很多人抱怨大模型“胡说八道”。但事实上，Transformer并非不知道正确答案，而是在关键时刻做出了错误的选择。

DeepMind的另一篇论文《Chain-of-Thought Reasoning Without Prompting》恰恰印证了上述观点。论文发现，当Transformer生成答案的第一个Token时，正确答案有时并不在Logits中最优候选（top-1）所代表的路径上，而是出现在其他次优候选（top-k）的路径中。例如在下图中，正确答案出现在top-2或top-4而非top-1路径上（图4），而且这些次优候选路径所提供的答案质量，与精心设计的CoT效果相当：

图4: 正确答案往往会出现在次优候选路径[2]

但经典Transformer并不具备探索多个次优候选路径并评估其正确性的能力，只是随机从top-k中抽取一个概率较高的候选路径来展开回答。这个机制导致大模型即使在“知道”正确答案的情况下，依然可能错误作答。

这一重要发现，使得硅谷的科学家们开始致力于为Transformer“插上思考的翅膀”。Stanford最近发布的论文《Quiet-STaR》正是这种“插翅”实践的代表。该论文的核心思路是：

Transformer通过结合最优候选路径与n条次优候选路径中的优质回答，来共同生成下一个Token。

Quiet-STaR的训练过程主要包括三个步骤：

图5: Quiet-STaR的训练机制[3]

• 首先，Think（思考）。Transformer在选择最优候选路径的同时，基于次优候选路径生成n条内部“Thoughts”。正如DeepMind论文所述，这些Thoughts有极高概率包含优质的回答；
• 其次，Talk（表达）。通过Thoughts + 最优候选路径（Mix Logits）共同生成新的Token。基于“Thoughts大概率包含优质回答”的假设，这种类似于“穷举”式的结合方式，将极大提升生成正确Token的可能性；
• 最后，Learning（学习）。根据生成的结果，使用强化学习评估每一条次优候选路径，选出最佳的那条，并据此更新模型参数。

需要注意的是，Talk过程中的Mix Logits机制决定了最优与次优候选路径在预测中各自所占的比例。当最优候选路径已经能够达到足够高的准确度时，次优候选路径将不再参与生成过程，从而有效降低计算成本。此外，在Inference推理过程中，Quiet-STaR只推演最好的那条次优候选路径，以提升整体效率。

即使没有进行Fine-tuning微调，Quiet-STaR也能在CommonsenseQA（从36.3%提升到47.2%）和GSM8K（从5.9%提升到10.9%）等任务上，显著提升Zero-shot的推理能力，而且这些提升随着“Think”所使用的Thoughts包含Token数量的增加而不断增强（图6）。

图6: Quiet-STaR的测评结果[3]

Quiet-STaR的实现方式与采用MCTS的Alpha Go有异曲同工之妙。强化学习的引入，让Transformer能够先进行深度思考（Think），然后在多个方案中择优选择，最终生成下一个Token（Talk）。而Mix Logits的设定，也使得每个Token的“分量”不再相同，其所需计算量也随着大模型对Token语义理解深度的不同而动态变化。

Google DeepMind与Stanford的这两篇论文，代表了行业顶尖团队的“炼丹”最新思路。强烈建议读者阅读论文原文。也许在不久的将来，我们就能在商业或开源大模型中，真切看到基于上述论文成果的落地实践。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：大模型内丹修炼：AI自我进化的新阶段要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题