月之暗面：一年前就验证过长思维链，因成本高先搞了长文本

2 月 18 日上午消息：月之暗面研究员反思Long-CoT路径，披露k1.5背后思考

月之暗面研究员Flood Sung最近分享了团队对于k1.5模型的完整思考脉络。他特别提到，2024年9月12日OpenAI o1模型的发布，带来了不小的震撼，也直接引发了一场关于“长思维链”有效性的深度反思。说来有趣，这种Long-CoT的有效性，其实早在一年多前就被验证过——当时，月之暗面Kimi的联合创始人周昕宇就做过实验：用很小的模型，训练它进行几十位的加减乘除运算，然后将细粒度的计算过程一步步合成出来，变成很长的思维链数据来做监督微调，效果出奇地好。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈

“当时看到那个效果的震撼感，我至今记得很清楚。”Flood Sung坦言。公司当时清醒地意识到了长上下文的重要性，因此战略重心率先放在了“把上下文搞长”这件事上。相比之下，对Long-CoT的重视程度就显得不足了。现在回头看，核心的考量点其实还是成本。道理很简单：拓展长上下文主要处理的是长文本输入，有预填充技术，也有Mooncake计算框架的加持，成本和速度都在可控范围内。而Long-CoT涉及的是长文本输出，成本要高出一大截，生成速度也会慢很多。在这种情况下，优先把输出搞长，自然就没能成为最高优先级的选项。

然而，后续的反思是深刻的。Flood Sung提出了一个根本性问题：还有什么比模型性能更重要呢？成本和速度有摩尔定律托底，未来一定会持续下降。只要能把性能做上去，其他问题都是可以解决的，至少不再是主要矛盾。所以，结论很明确：必须搞Long-CoT，必须对标o1。“归根结底，我们的目标就是训练模型能像人类一样思考，自由地思考。”Flood Sung总结道。

这一系列反思并非空谈。事实上，在月之暗面Kimi的官方网站上，Flood Sung已经刊发了一篇解密o1破解过程的万字长文。这清晰地预示了，公司不仅关注到了o1的方向，并且已经开启了实质性对标与研究的步伐。