微信大语言模型WeLM发布最新版本更新

近日，微信大语言模型 WeLM 再次迎来重要更新。WeLM Blog 发布了一篇题为《Hidden Decoding at Scale：面向前沿大模型的潜空间计算扩展》的论文，深入探讨了如何在大规模模型中高效实现推理过程的优化。

核心思想：大模型的“内心 OS”与优化难题

WeLM 是微信自研的大语言模型，其研发时间早于腾讯混元，目前已应用于小范围公测的微信小微。当前主流大语言模型在运行时会生成一个“内心 OS”，即让模型逐步写出推理过程（如“首先、然后、最后”），这被称为模型的中间状态表达。模型中间状态（Hidden States）的能力直接影响最终效果，在相同规模下，增加中间状态往往能提升模型性能。

然而，这种方法存在三大问题：

• 慢：处理耗时，例如微信小微若让用户等待十几秒，将严重影响体验。
• 低效：冗余的中间过程消耗大量计算资源。
• 成本高：面对海量微信用户，算力和存储成本难以承受。

小提示： 若微信小微全面开放，它将成为国内调用量最大的大语言模型，甚至可能跻身全球前三，因此效率和成本控制至关重要。

创新机制：Hidden Decoding（隐式解码）

为了解决上述问题，WeLM 提出了 Hidden Decoding 机制。其核心思想是：在不增加 Transformer 主体参数的前提下，通过复制多份 Vocab Embedding 将序列长度扩展 n 倍，使每个 token 在单次前向传播中获得 n 倍的有效计算量。实验表明，该方法在多个模型规模上均能带来持续的 loss 下降与评测提升，且在大规模模型上仅需少量 continue training 步数即可观察到显著收益。

用通俗的类比：

• 传统做法：团队每个成员必须把每次草稿和中间过程都写出来给老板看，每写一版看一次，时间长、效率低。
• Hidden Decoding 做法：前三版在各自脑子里默默思考，只把最终正式方案提交给老板，时间短、效果高。

这种机制在时间、效率、成本上均有显著优化。此前，Hidden Decoding 已应用于微信自研的 6B、8B 以及 80B 等中小规模 WeLM 模型，并得到效果验证。

最新突破：Hidden Decoding 扩展至 100B+ 前沿大模型

微信此次发布的论文《Hidden Decoding at Scale》旨在解答：Hidden Decoding 能否应用于当前主流的总参超过 100B 的大语言模型？ 结论是：完全可用，并给出了三项关键工程设计：

1. Stream-Factorized Attention（流式注意力分解）

大多数层只在同一条 stream 内做注意力计算，只有少数层跨 stream 混合。即大部分时候各想各的，关键节点才碰头，以保证效果和提升效率。

2. 保留中间流 KV

为了让模型在后续处理中能回忆起前面的重点，需要缓存“中间步骤”对应的 Key 和 Value。即好记性不如烂笔头。

3. KV-mirror 加速

后段的一批步骤不再从自己的输入重新计算，而是直接复用前段已经处理好的同一批数据。即后段直接复用前段做好的分析。

通过这三项设计，Hidden Decoding 已成功应用于微信较大总参的 WeLM-HD4-617B 模型，并得到验证。

常见问题解答

• Q：Hidden Decoding 是否会影响模型效果？
  A：不会。实验表明，在多个规模上该方法均能带来持续的 loss 下降与评测提升，效果优于传统逐步推理方式。
• Q：为什么微信如此重视低成本、低延迟？
  A：微信拥有海量用户和高日活，若全面开放微信小微，其调用量将极大，必须保证高效、稳定、可控，同时控制成本。
• Q：WeLM 与腾讯混元有何关系？
  A：WeLM 是微信自研的大语言模型，研发时间早于混元，且闭源、专用，主要服务于微信生态。

总结与展望

微信大语言模型 WeLM 闭源、专用，因其庞大的用户体量和高日活，特别注重低成本、低延迟、高效、稳定可控、长上下文理解。这些特性使得 WeLM 成为国内大语言模型中的独特存在。每一次创新，如 Hidden Decoding 的扩展，都是在为微信小微的全面开放做准备。可以预见，WeLM 将成为国内调用量最大的大语言模型，全球排名也有望进入前三。

#微信大语言模型 #WeLM #微信小微