DeepSeek推出mHC新架构：攻克超连接训练不稳定难题
1月1日，DeepSeek于今日下午公开一篇新论文，提出一种名为mHC（流形约束超连接）的全新架构。该研究聚焦于解决传统超连接在大规模模型训练过程中存在的训练不稳定问题，同时延续其带来的显著性能提升
就在1月1日下午，DeepSeek官方发布了一篇引人注目的新论文，其中正式提出了一种名为mHC（流形约束超连接）的全新架构。这项研究的核心目标，在于解决传统超连接技术在大规模模型训练过程中经常出现的稳定性难题，同时延续其带来的显著性能提升优势。
该论文由三位研究者共同担任第一作者，分别是谢振达（Zhenda Xie）、韦毅轩（Yixuan Wei）以及曹焕奇（Huanqi Cao）。值得一提的是，DeepSeek创始人兼首席执行官梁文锋也位列作者之中。
论文摘要部分的核心内容如下：
近年来，以超连接为代表的网络结构通过拓展残差连接的宽度并引入多样化的连接方式，成功突破了过去十年间广泛使用的标准残差连接范式。尽管这类方法带来了明显的性能增益，但其连接模式的多样化本质上削弱了残差连接所具备的恒等映射特性，进而引发了训练过程中的严重不稳定、可扩展性受限，并导致了较高的内存访问开销。
为了应对上述挑战，研究团队提出了流形约束超连接（mHC）。这是一个通用框架，能够将超连接中的残差连接空间投影至特定流形之上，从而恢复恒等映射属性，同时结合精细化的基础设施优化策略，保障整体计算效率。
实验结果表明，mHC在大规模训练场景下表现稳定，不仅实现了可观的性能提升，还展现出优异的扩展能力。研究团队认为，mHC作为对超连接机制的一次灵活且实用的改进方案，有望推动对神经网络拓扑结构设计的深入探索，并为基础模型的发展提供新的技术路径。
相关论文可通过以下链接获取：
https://huggingface.co/papers/2512.24880
https://arxiv.org/abs/2512.24880
游乐网为非赢利性网站，所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系youleyoucom@outlook.com。
同类文章
小米回应新车未上市被曝起火实为SkyNomad遭AI污染
小米新系列尚未正式发布，搜索“SkyNomad”即出现“起火”“事故”等联想词及疑似AI生成的“车祸”视频。小米官方紧急辟谣，已收集相关证据并与平台沟通，指出这是利用AI技术批量造谣的有组织的舆论攻击行为。
沃尔玛沃集鲜推出药食同源系列新品
沃尔玛自有品牌沃集鲜推出“药食同源”系列，覆盖饮品、烘焙、零食等品类，分日常与衍生两大产品梯队，联合老字号拓展消费场景，同时加速全国门店升级，以商品力与门店网络推动全渠道增长。
聆思科技获近5亿元B轮融资
聆思科技完成近5亿元B轮融资，由安徽与合肥国资领投。资金将用于新一代端侧大模型AI推理芯片研发，从感知模型升级至认知大模型。首颗Nebula系列预计2026年底推出。公司已推出23款芯片，累计出货超1 5亿片，广泛用于家居家电、教育办公等领域。
北通鲲鹏70异环联名手柄上市安魂曲薄荷双色699元
北通鲲鹏70《异环》联名款手柄上市，售价699元，提供安魂曲与薄荷双色。礼盒内含定制手柄及周边，前12000套赠游戏道具兑换卡。手柄搭载AI触觉反馈肩键、双切扳机、阻尼可调摇杆，支持星闪2000Hz回报率，兼容PC、NS、手机和车机。
全球电动汽车需求持续增长趋势研究机构报告
6月全球电动汽车注册量连续第四个月增长，达200万辆，同比增7%。欧洲市场表现抢眼，注册量飙升31%，北美受税收政策影响下滑13%。德国车企面临挑战，保时捷上半年销量降16%，大众营业利润跌54%。
- 热门数据榜
相关攻略
2015-04-07 20:52
2025-01-16 11:58
热门教程
- 游戏攻略
- 安卓教程
- 苹果教程
- 电脑教程
