OpenMythos开源：基于PyTorch复现Claude深度推理架构

关于Anthropic那个神秘的Claude Mythos，业内一直有各种传闻。它在复杂推理和系统性泛化上的表现据说相当惊人，但始终闭源，让人只能猜测其内部机制。现在，情况有了新变化。

一个名为OpenMythos的项目刚刚出现，它从第一性原理出发，用PyTorch完整实现了一套对Claude Mythos架构的大胆理论重建。这并非简单的复制，而是基于近期循环变换器相关论文的一次深度探索，试图揭开那个“神话级”模型的面纱。

Claude Mythos 到底是什么？核心猜想：循环深度变换器（RDT）

要理解OpenMythos的假设，得先看看传统Transformer的局限。通常，想增加模型深度，就得堆叠更多层。但OpenMythos提出了一个完全不同的思路：Claude Mythos很可能是一种循环深度变换器。

它的核心想法很巧妙——让同一个Transformer块在单次前向传播中循环执行多次，权重完全共享。这样一来，就能用更少的参数，撬动更深的推理深度。具体来看，这个架构可以分为三个清晰的阶段：

前奏（Prelude）：这是一个标准的Transformer层，只运行一次，负责对输入进行初始处理，打好基础。

循环块（Recurrent Block）：这里是架构的心脏。同一个块会反复循环执行。为了防止循环过程中信息衰减或崩溃，每次循环都会通过一种稳定的线性时不变输入注入机制，将原始输入重新融合到隐藏状态中。这个块内部还有更多设计：前馈网络采用了混合专家模式，每次只激活稀疏的top-K专家，同时保留少量共享专家。关键在于，不同的循环深度会路由到不同的专家子集，这让每一次“思考”迭代都具有计算上的独特性，而非简单重复。注意力机制则默认采用类似DeepSeek-V2的多潜在注意力，通过低秩键值缓存，据说能大幅降低内存占用。

结尾（Coda）：最后一个标准层，只运行一次，负责输出最终结果。

此外，项目还引入了多项旨在提升稳定性的机制，比如自适应计算时间，让模型自己动态决定何时停止循环；以及深度方向的LoRA适配器，为不同迭代提供额外的表达能力，又不显著增加参数总量。

为什么这可能碘伏现有 scaling law？

传统模型的扩展，主要围绕着增加参数数量和训练数据量。但OpenMythos所探索的路径，引入了一个新的维度：推理时的循环深度。根据相关论文和实验，一个仅拥有7.7亿参数的循环模型，在相同数据条件下，性能可以媲美13亿参数的标准模型。这意味着，推理深度本身成了一种可以动态调节的计算资源——模型在训练时可能只学习了20跳的推理，但在实际应用时，将循环增加到30跳依然有效。

这与目前常见的思维链技术有本质区别。所有的推理过程都在连续的潜在空间中完成，不产生中间的文字标记，这有可能带来更好的系统性泛化和组合推理能力。简而言之，参数复用加上循环思考，可能等于更高效的深度推理。这或许也能解释，为什么Claude Mythos在应对硬核问题时，会给人“特别强”的直观感受。

OpenMythos 项目亮点

这个开源项目提供了一套完整且可配置的PyTorch实现，包含了混合专家、前馈网络、注意力等核心模块。它不仅提供了清晰的架构图和代码示例，还包含了用于研究的训练基线，强调可复现性，极大方便了社区对循环动态、缩放规律以及推理时深度调整进行实验和探索。

这对 AI 未来意味着什么？

尽管OpenMythos是基于理论的重建，并非Anthropic的最新机密，但它确实将“循环推理”这个前沿方向推到了舞台中央。它暗示了一种未来：模型的扩展可能不再仅仅比拼参数规模，而是比拼“如何更聪明地思考”——即在推理阶段动态、灵活地增加计算深度，而非一味地增大静态参数。

对于不同角色的从业者而言，这都意味着新的机会：AI研究者可以直接使用代码，验证循环结构与堆叠层结构的效果差异；开发者可以尝试将类似机制集成到自己的项目中，观察其在长链推理、复杂规划等任务上的提升；而对于广大AI爱好者来说，这无疑是见证开源社区快速迭代、挑战前沿的又一个生动案例。

当然，这一切都处于早期探索阶段。训练稳定性、梯度传播等工程挑战，仍需社区共同努力去攻克。但正如项目发起者所言，这是一项开放的研究努力，欢迎所有人的参与和贡献。

循环深度会成为下一代大模型的核心趋势吗？还是只是一个美好的理论猜想？这个问题，或许需要更多实践来回答。