企业大模型Cohere王者揭秘：程序性知识驱动LLM推理

大型语言模型到底是怎么“想”问题的？这个问题困扰了学界和业界很久。以前大家普遍觉得，LLM推理时不过是做了个高级版的“近似检索”——从海量训练数据里翻找相关片段，再拼凑出答案。但Cohere团队最近的一项研究，彻底碘伏了这个认知。

他们的核心发现是：LLM的推理能力，压根儿不是靠死记硬背，而是靠学习一种“程序性知识”（procedural knowledge）。这就好比学数学，你不是去背每个题目的答案，而是掌握了“解一元二次方程”的方法论，换个数字照样能算。Cohere的这篇论文不仅证明了这一点，还顺带揭示了一个让人意外的现象：不同规模的模型（比如7B和35B），从同样的数据里学到的东西竟然完全不同。

LLM推理机制的探索

先说背景。LLM到底怎么推理？以前的主流假设是：它们在做近似检索——从预训练形成的参数化知识里，把中间推理步骤的答案“捞”出来。换句话说，很多人觉得LLM并没有“真正”推理，只是在记忆库里翻答案。

但Cohere团队的研究挑战了这个假设。他们用数学推理任务作为测试场景，因为这类任务步骤清晰、可控，方便分析。结果发现，真正起作用的不是检索，而是从数据中提取出来的通用推理程序。这个结论，等于给整个领域指了一个新方向：别光堆数据量了，得在“程序性知识”的质量上下功夫。

问题：LLM如何进行推理？

研究的核心问题很直接：LLM是怎么从预训练数据里学会推理的？是像搜索引擎一样查文档，还是像人类一样抽象出逻辑步骤？为了搞清楚这一点，团队设计了三类问题：事实类（比如“法国首都是哪”）、推理类（比如两步算术、计算斜率、解线性方程），还有控制类。控制问题用来排除格式等无关因素的干扰。

他们特别选了数学推理，就是因为步骤清晰，容易追踪模型到底走了哪几步。

背景：EK-FAC影响函数的应用

怎么追踪呢？团队用了一种叫EK-FAC影响函数的方法。你可以把它理解成一个“显微镜”——它能估算每个训练文档对模型最终输出的影响程度。就像调试代码时定位哪一行是关键bug，EK-FAC能告诉我们：是哪些文档在支撑模型完成这一步推理。

实验设置：数据与模型

实验模型用的是Cohere自家的Command R，分为7B和35B两个版本。训练数据样本取自500万个文档（约25亿token），保证和原始预训练分布一致。推理问题包括：两步算术（仅7B模型）、计算两点间斜率（7B和35B）、解线性方程（仅35B）。

推理问题示例（图1）：

两步运算（7B模型）示例（图2）：

计算斜率（7B和35B模型）示例：

解线性方程（35B模型）示例：

事实问题示例（图6）：

研究结果：程序性知识驱动LLM推理

核心结论只有一句话：LLM的推理方式更像是“程序性泛化”，而不是简单地从训练数据里翻答案。模型学到的不是“某道题答案是42”，而是“两步算术可以这样拆解”。

定量结果：程序性知识的证据

泛化能力分析：相同任务，不同数据

团队计算了不同问题之间文档影响得分的Pearson相关系数，发现：同一个推理任务（比如计算斜率），即使题目中的数字完全不同，它们的高影响文档集高度重合（图7）。这意味着模型学的不是具体数值，而是可泛化的程序。这就好比学会了“斜率=(y2-y1)/(x2-x1)”这个公式，随便你换什么点都能算。

7B vs 35B：模型规模的影响

35B模型在斜率计算任务上的泛化能力显著强于7B模型。但最让人意外的是：7B和35B模型从相同数据中学到的信息几乎没有相关性。也就是说，模型规模不仅影响能力，还影响“学什么”。大模型更擅长提取和运用程序性知识。

依赖性分析：弱依赖性，强泛化

和事实问题不同，推理问题对单个文档的依赖程度很低，影响分布更分散（图8）。模型不是靠记住某篇文档里的答案来答题，而是从多篇文档中综合学习推理步骤。这再次印证了程序性知识的作用——它像一种“配方”，可以从不同菜谱里提取共同步骤。

7B vs 35B：模型规模的影响

35B模型对单个文档的依赖程度更低，说明它更擅长综合多个来源的信息。此外，35B模型在事实问题上影响力数值更大且波动更大（图9），暗示它从更少但更相关的文档中学习。

定性结果：程序性知识的深度解读

答案依赖性分析：并非简单的答案匹配

团队检查了高影响力文档中是否包含问题的正确答案。结果很说明问题：事实问题的答案在高影响力文档中频繁出现，而推理问题的答案几乎从不出现（图10）。如果LLM真的在做“检索”，你应该能在高影响力文档里直接找到答案，但推理任务里完全不是这样。这再次证明，推理靠的是程序，不是答案。

7B vs 35B：模型规模的影响

35B模型对答案的依赖程度更低，与其更强的程序性泛化能力一致。

影响因素分析：代码和公式是关键

分析高影响力文档的内容发现，这些文档通常包含代码、数学公式等程序性信息。LLM能够从这些材料中学习推理步骤和方法。这其实很符合直觉：如果你想让模型学会解方程，给它看一堆方程推导过程，远比让它背答案有效。

7B vs 35B：模型规模的影响

35B模型更倾向于利用这类程序性知识，再次体现了规模优势。

数据源分析：程序性数据源的影响更大

具体到数据来源，结果也很清晰：代码、StackExchange、ArXiv和Markdown等程序性数据源对解决推理问题有显著的正面影响；而Wikipedia和Trivia这类传统知识库，对事实问题更有用（图11、12）。这意味着，未来想提升LLM的推理能力，与其疯狂抓取网页，不如精心筛选代码和数学公式。

7B vs 35B：模型规模的影响

35B模型能更好地利用不同数据源的知识，学习能力更强。

结论：程序性知识的未来

Cohere这项研究的价值，在于它把“LLM的推理本质”这个问题从“近似检索”的旧假设中拉了出来，给出了一个更符合直觉的解释：模型在学习推理程序，而不是死记硬背答案。这对LLM的训练策略有直接指导意义——未来的关键不是堆数据，而是精筛数据，尤其是那些蕴含着推理逻辑的程序性内容（代码、公式、推导过程）。

当然，仍有大量问题待解：程序性知识的学习机制具体是怎样的？如何把程序性知识和事实知识更高效地结合起来？但随着这类研究的深入，我们离真正理解“机器如何思考”又近了一步。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：企业大模型Cohere王者揭秘：程序性知识驱动LLM推理要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题