让模型一步步思考显著提升推理能力的原因

大模型到底是怎么“思考”的？这个问题从ChatGPT火起来那天起，就没停止过被讨论。科学哲学层面吵了无数轮，但一直缺一个能落地的解释。

最近，国内大学的一项研究终于给出了一个比较清晰的答案——题目是《How Chain-of-Thought Works? Tracing Information Flow from Decoding, Projection, and Activation》。它回答了一个困扰AI研究者很久的问题：为什么你让模型“一步步思考”，它的推理能力就显著提升了？以前大家都知道思维链（Chain-of-Thought）好用，但到底好在哪、怎么好的，没人说得清。现在，这篇论文通过拆解内部信息流动，给出了硬核答案。

研究团队选择了6个不同规模的模型——LLaMA3.2-3B、LLaMA3.1（8B和70B）、Gemma2（2B、9B、27B），在9个数据集上做了全面测试，覆盖算术推理、常识推理和符号推理。他们的核心方法是：从解码、概率投影和神经元激活三个过程，追踪信息流动，来分析CoT的内部机制。

核心发现

1. CoT本质是结构化剪枝器

研究告诉我们，CoT并没有赋予模型什么神奇的推理能力。它实际上是通过模板匹配来约束输出空间。当你输入“让我们一步步分析”时，模型并不是在像人类那样推理，而是在执行一套精巧的模仿策略：从提示中学习结构性关键词，从问题中提取具体内容，然后按照固定的推理模板生成答案。

论文量化了这种“模仿”的程度，发现结构遵循度与准确率呈强正相关——准确率可以从0.3直接拉升到0.9。有意思的是，模型对不同类型关键词的模仿策略截然不同：时间和动作词汇主要从CoT提示中学习，而数字关键词则主要从输入问题中提取。到了需要常识推理的任务里，模型对问题关键词的模仿显著降低，因为它需要更多依赖内部知识。

2. 概率分布的收敛效应

通过分析概率分布，研究者发现了CoT提升性能的另一个核心机制：它让模型的选择变得更加确定——就像漏斗一样，把生成下一个词的概率集中到正确的词上。结果，正确答案的不确定性平均降低了50%到80%。CoT生成的概率分布更加集中，密度峰值提升了数倍，熵更低。这解释了为什么CoT能提高准确性——不是推理变强了，而是选择变准了。

3. 与任务相关的神经元激活

最令人意外的发现是，CoT对神经元激活的影响完全取决于任务类型。在开放域任务（比如数学题）中，CoT会减少约4%的神经元激活，主要影响网络后三分之一的层次，像“剪枝器”一样聚焦相关特征。但在封闭域任务（比如选择题）中，情况完全相反：CoT会增加3%到5%的神经元激活，更全面地评估各种选项，像“放大器”一样增强判别能力。

性能提升显著

这种机制带来的性能提升是直观的：数学推理任务的准确率提升了200%到300%，选择题任务提升25%到60%，符号推理任务提升超过100%。所有测试的模型都显示出相同的机制模式，说明这些发现具有普遍性。

实际应用启示

这些发现对提示工程有重要的指导意义：

• 结构比内容更重要：与其纠结推理步骤的逻辑正确性，不如确保格式的一致性。
• 模板迁移有效：相似结构的CoT提示可以跨任务使用，关键是保持推理模板的完整性。
• 任务匹配很关键：开放性问题用引导收敛的提示，选择性问题用鼓励全面考虑的提示。

小结

论文也坦诚指出，在LLM这个“黑箱”中建立因果链条极其困难。他们的发现更多是“强相关”而非“确定因果”，结论建立在实证分析而非原理推演上。但无论如何，它用实测数据揭示了CoT可能的工作机制：通过结构化模板引导、token生成概率分布收敛和任务相关的神经元激活，把模型的“猜测”变成了“有根据的推断”。

它不是在模拟人类推理，而是在执行一套精巧的概率优化策略。理解这一点，或许能帮助我们设计出更有效的提示，更好地发挥LLM的能力。

论文：https://arxiv.org/pdf/2507.20758