美团发布业界首个1.6万亿参数国产算力大模型LongCat-2.0

美团重磅发布万亿参数大模型LongCat-2.0，全程国产算力自主训练

6月30日，美团正式对外发布新一代万亿参数级别大模型——LongCat-2.0，并宣布全面开源。这一消息在大模型领域引发广泛关注。

简而言之，LongCat-2.0是业界首个完全依赖国产算力、完成从训练到推理全流程的万亿参数大模型。其总参数量高达1.6万亿，从零开始预训练，原生支持1M超长上下文。所谓“原生支持”，即无需外部扩展手段即可一次性处理百万级别的token序列，这对长文本理解类应用场景至关重要。

实际上，LongCat的测试版本此前已在OpenRouter平台表现优异：总调用量跻身全球前三。进一步看，其在Hermes模型上的月调用量排名全球第一，在Claude Code上的月调用量排名全球第二，仅次于Claude Opus 4.8。这充分说明其实际使用热度已相当可观。

美团方面透露，LongCat将于近期开源Infra框架、推理引擎、模型参数等核心技术，以此回馈全球开发者生态。这一举措对推动国产大模型生态建设无疑是重大利好。

预训练规模与国产算力技术挑战

LongCat-2.0的预训练数据规模超过30T tokens，涵盖中文、英文、多语言及代码等多类型数据。训练如此规模的模型，万卡级集群需应对硬件故障、通信异常、显存压力与数值波动等多重挑战。LongCat团队从稳定性、正确性与效率三个维度提出了系统解决方案。

在稳定性层面，通过HCCL异常处理、弹性扩缩卡及自动故障恢复机制，月均日故障率降低超过70%。其背后是现实问题：国产算力集群硬件故障率通常高于国外成熟集群，能将故障率有效压降，体现了团队在工程层面的深厚积累。

在正确性方面，团队自研确定性算子、Bitwise一致性验证与参数检测，确保训练结果可靠性。同时结合实际训练经验，提升关键模块的计算精度，并优化Reduce逻辑。这些细节虽常被外界忽略，但对万亿参数模型的收敛性能至关重要。

在效率方面，通过流水线调度、显存优化及算子级控核，训练MFU（模型算力利用率）提升1.5倍。最终实现稳态日吞吐超过1T tokens/day，成功完成万亿参数MoE模型在国产算力上的稳定训练。

从成果来看，LongCat-2.0证明了国产算力能够支持万亿参数级别大模型的完整训练流程。这对整个行业的技术路线选择——究竟是依赖国外芯片还是走国产自主可控道路——提供了极具说服力的参考案例。开源动作也将使更多团队能在其基础上进行二次开发与学术研究。