三星TRM论文解析：巧用递归方法，轻量化模型挑战Transformer架构

三星SAIL蒙特利尔实验室的研究团队近日发表论文《Less is More: Recursive Reasoning with Tiny Networks》，提出名为Tiny Recursive Model（TRM）的创新递归推理架构。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈

大数据文献摘录整理

三星SAIL蒙特利尔实验室在最新发布的论文《Less is More: Recursive Reasoning with Tiny Networks》中，正式推出这款名为Tiny Recursive Model（TRM）的递归推理框架。

图示

这项研究证明，在复杂推理任务中，结构精巧的小型网络同样能够超越大型语言模型的表现。

TRM仅采用700万参数的双层神经网络结构，就在多项高难度任务中超越了DeepSeek R1、Gemini 2.5 Pro、O3-mini等主流模型。

在架构设计上，TRM大胆摒弃了自注意力层（仅限TRM-MLP变体；TRM-Att仍保留自注意力机制）。论文指出，对于固定输入的小规模任务，多层感知机反而能有效降低过拟合风险。此外，当上下文序列较短时，注意力机制反而会造成计算资源的浪费。TRM在数独求解、困难迷宫等特定任务中，采用纯MLP架构的表现优于基于Transformer的模型。

图示

图解说明：Tiny Recursive Model（TRM）通过在“答案y”和“潜在思考变量z”之间持续进行递归更新，实现了小参数模型的多轮自我修正推理。

传统大模型依赖链式思维（Chain-of-Thought）生成推理步骤，但这种方法成本高昂且容易累积误差。

TRM则通过递归式更新“答案”与“潜在思考变量”，使模型在持续自我修正中逐步逼近正确答案。

论文总结道：“TRM以极小的参数量实现了前所未有的泛化能力。”在ARC-AGI推理基准测试中，TRM分别获得45%（ARC-AGI-1）与8%（ARC-AGI-2）的准确率，显著优于多数大型模型。在Sudoku-Extreme任务中，其准确率更是达到87.4%，刷新了该领域的性能纪录。

研究团队强调，这种架构的核心逻辑在于“递归即深度”：深度递归可替代层数堆叠，模型无需增加网络深度，只需通过反复思考即可完成任务。

推理机制重构：少即是多

TRM的设计灵感源于对上一代分层推理模型（HRM）的深入反思。

图示

HRM模型采用双网络在不同频率下递归更新潜变量与答案的过程，通过先无梯度、后带梯度的双阶段循环，实现高低频递归推理的有机结合。

HRM使用两个网络在不同“频率层次”上进行递归运算，模拟人脑的多层推理结构。然而，其训练流程复杂，依赖不动点定理和生物学假设等理论基础。

TRM则彻底摒弃了这些理论假设。

研究人员发现，单一网络配合深度监督即可实现相同甚至更优的推理效果。

模型通过多次前向递归更新内部潜变量z与当前答案y，让推理链条的每一步都更加精准。

与HRM相比，TRM的参数量缩减约74%，单步前向传播次数减半，同时提升整体准确率。

论文数据显示：在Maze-Hard数据集上，TRM测试准确率达到85.3%，较HRM高出十个百分点。

TRM还取消了传统的“自适应计算时间”机制（Adaptive Computational Time, ACT）中的第二次前向传播。

研究者改用简单的二元判断来决定是否停止推理。

结果显示，模型训练速度显著提升，而准确率几乎保持不变。

在架构选择上，TRM也放弃了自注意力层。对于小规模固定输入任务（如数独），使用多层感知机反而能减少过拟合现象。

论文明确指出，“当上下文长度较短时，注意力机制反而是一种浪费。”这一发现挑战了AI界“模型越大性能越强”的经验法则。减少层数、加深递归，是让模型真正学会“思考”的关键所在。

结果与启示：推理的新尺度

实验结果表明，TRM不仅在性能上反超HRM，更在泛化能力与效率比上树立了新标准。

图示

在Sudoku-Extreme测试中，它以500万参数实现87.4%准确率；

图示

在Maze-Hard任务上，以700万参数实现85.3%；

图示

在ARC-AGI系列测评中，表现超越Gemini 2.5 Pro与DeepSeek R1等大型模型。

研究团队将这一成果概括为：“以递归取代规模，以思考取代堆叠。”

论文分析认为，大模型在生成式推理中往往容易因单次错误而放大误差，而TRM通过循环式的自我修正，将推理过程拆分为多个小步骤，显著降低了误差传递。

这种结构在小样本条件下尤为有效。

作者还发现，双层网络的泛化能力优于更深层的模型。当网络层数增加到四层或以上时，性能反而下降，原因在于过拟合风险增加。

团队引入指数移动平均（EMA）技术以稳定训练，使模型在小数据集上保持收敛一致性。

研究指出，这种方法为“轻量级AI推理”提供了全新路径：当算力与数据受限时，小模型通过递归学习仍可实现复杂思维行为。

这为未来的边缘AI与低资源应用指明了方向。真正的智能深度，并非必然来自模型规模，而可能源于反复思考的能力。