DeepSeek推出mHC新架构：攻克超连接训练不稳定难题

就在1月1日下午，DeepSeek官方发布了一篇引人注目的新论文，其中正式提出了一种名为mHC（流形约束超连接）的全新架构。这项研究的核心目标，在于解决传统超连接技术在大规模模型训练过程中经常出现的稳定性难题，同时延续其带来的显著性能提升优势。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈

该论文由三位研究者共同担任第一作者，分别是谢振达（Zhenda Xie）、韦毅轩（Yixuan Wei）以及曹焕奇（Huanqi Cao）。值得一提的是，DeepSeek创始人兼首席执行官梁文锋也位列作者之中。

论文摘要部分的核心内容如下：

近年来，以超连接为代表的网络结构通过拓展残差连接的宽度并引入多样化的连接方式，成功突破了过去十年间广泛使用的标准残差连接范式。尽管这类方法带来了明显的性能增益，但其连接模式的多样化本质上削弱了残差连接所具备的恒等映射特性，进而引发了训练过程中的严重不稳定、可扩展性受限，并导致了较高的内存访问开销。

为了应对上述挑战，研究团队提出了流形约束超连接（mHC）。这是一个通用框架，能够将超连接中的残差连接空间投影至特定流形之上，从而恢复恒等映射属性，同时结合精细化的基础设施优化策略，保障整体计算效率。

实验结果表明，mHC在大规模训练场景下表现稳定，不仅实现了可观的性能提升，还展现出优异的扩展能力。研究团队认为，mHC作为对超连接机制的一次灵活且实用的改进方案，有望推动对神经网络拓扑结构设计的深入探索，并为基础模型的发展提供新的技术路径。

相关论文可通过以下链接获取：

https://huggingface.co/papers/2512.24880

https://arxiv.org/abs/2512.24880