CoFrGeNets：用连分数重构Transformer模型架构

以GPT、Gemini、Claude和Llama为代表的Transformer大模型，已成为自然语言处理领域绕不开的行业标准。凭借强大的分类与生成能力，它们几乎主导了整个赛道。然而问题同样突出——这些模型严重依赖多头注意力机制和前馈网络，参数动辄数十亿乃至上千亿，计算资源消耗巨大，带来的高能耗与漫长训练周期，始终是业内挥之不去的挑战。

那么，是否存在一条新路径，能在不牺牲性能的前提下，显著降低模型对资源的依赖？IBM Research的一支研究团队给出了他们的答案——CoFrGeNets，全称“连分数生成网络”。

这套架构的最大特色，是用一种古老的数学工具——连分数，来替代Transformer中的核心组件。连分数能以极为紧凑的形式表达复杂函数，通过多个组件的嵌套组合，用不成比例增加的参数量，换来表达能力的显著跃升。相关成果已整理成论文，并在韩国首尔举行的国际机器学习大会（ICML）上正式发布。

IBM Research首席研究科学家Amit Dhurandhar介绍时表示，驱动这项研究的有两大核心因素：一是当前大模型的设计思路几乎被Transformer单一方向垄断，引入替代方案有助于拓宽可能性；二是团队希望系统性地探索连分数这类函数的表达能力上限，看看它究竟能走多远。

CoFrGeNet的核心工作原理

简单来说，CoFrGeNet的核心思路就是用连分数来表示函数。连分数通过嵌套的除法序列来表达一个值，能以极其紧凑的方式捕捉复杂的数学关系。将这一思路迁移到神经网络中，这些结构便构成了计算“梯级”——每一层的计算结果，都依赖于前一层的倒数。

多个这样的“梯级”组合在一起，能用比传统神经网络少得多的参数量，去近似非常复杂的函数。这使其成为前馈网络这类密集层的有力替代方案。在实际运行中，输入数据会逐级传递，每一步都与模型参数相乘，再加上前一步的倒数，从而完整保留了Token生成的因果链结构。

研究团队重点验证了两个方向：

• 注意力机制替换：在保留自回归语言生成所需因果结构的前提下，完成Token与Token之间的交互。
• 前馈机制替换：用更少的参数完成特征混合，替代标准的前馈网络。

团队最初借助轻量级开源工具包nanoGPT进行小规模实验，先验证不同架构方案的可行性，再逐步扩大规模。Dhurandhar的表述很实在：“如果这个阶段行不通，规模更大时肯定也不行。”

性能表现：更少参数，同等甚至更优的效果

为全面评估CoFrGeNet的性能，研究团队将其与GPT2-xl（1.5B）、Llama-3.2B等主流基线模型进行了直接对比，在OpenWebText、GneissWeb等大型数据集上完成预训练，再通过GLUE分类基准和多数据集困惑度测试进行评估。

结果相当扎实：在下游分类任务中，CoFrGeNet的一种变体（尤其是CoFrGeNet-F），在参数量远少于对手——通常只有几亿个参数的情况下，性能与GPT2-xl持平，甚至略胜一筹。困惑度指标（用于衡量模型对样本的预测准确度）同样显示，CoFrGeNet在多项测试中优于GPT2-xl，以及Synthesizer-D、稀疏注意力这类高效注意力基线。不仅如此，它在训练速度和推理速度上也有所提升。

即便在更大规模的Llama-3.2B实验中，CoFrGeNet在开放域问答和推理等任务上依然保持竞争力，同时体量更小、训练更快。

攻克数值稳定性难题

连分数在现代硬件上有一个绕不开的难题：计算成本高，且数值不稳定。例如，分母出现极小值时，结果可能直接冲到无穷大，这对GPU运算来说非常危险。

对此，团队采用了一种名为“continuants”（连分数伴随量）的等价表示方式。简单来说，就是把连分数化简为两个多项式之比，无论梯级有多深，只需执行一次除法运算。这个技巧大幅降低了计算开销，让CoFrGeNet能够在现代数字硬件上高效地完成训练和推理。

在训练稳定性方面，团队还引入了“增量训练”方法——在训练过程中逐层引入模型层，而非一次性全局优化。这种做法有效避免了梯度爆炸等问题。

即插即用，兼容现有架构

CoFrGeNet还有一个很实用的特点：灵活性强，具备“即插即用”的能力。开发者可以选择只替换注意力层，只替换前馈网络，或者两者都替换，甚至可以将新组件与传统组件混合使用。

研究论文的共同作者、IBM Research高级技术研究员Vijil Chenthamarakshan说得更直接：“这一方法与现有技术高度互补。大语言模型在其他方面有新进展时，完全可以和我们的模型结合使用，两者并不冲突。”

相比之下，剪枝、稀疏化等方法是在不改变架构的前提下削减参数，而CoFrGeNet走的是另一条路——在函数表示层面做文章。它为研究打开了一个全新的方向，同时与其他优化策略保持兼容。

前景展望：混合专家架构与硬件加速

从实际应用看，CoFrGeNet在替换前馈网络组件方面，前景尤其值得关注。前馈网络在很多模型中占据了参数量的大头。与IBM Granite系列模型团队的初步合作表明，CoFrGeNet在相近规模下，有望减少参数数量或直接提升性能。

特别值得一提的是，该方法在混合专家（MoE）架构下表现更出色。因为每位“专家”通常只处理部分Token，压缩潜力更大——而MoE架构，正是当前绝大多数前沿模型的核心技术。

硬件层面，研究团队正在与伦斯勒理工学院（RPI）合作，尝试把除法运算迁移到模拟处理器或现场可编程门阵列（FPGA）等非GPU硬件上执行。这类硬件在除法运算上速度更快，GPU则可以专心做它擅长的乘法运算。

Dhurandhar形容：“这样不仅能大幅提速，还能显著降低功耗。”

综合来看，CoFrGeNet既是提升模型效率的实用工具，也是一次对神经网络架构认知边界的概念性突破。它为大语言模型的发展，铺开了一条更高效、更节能的新路径。

Q&A

Q1：CoFrGeNets是什么？与Transformer模型有何不同？

A：CoFrGeNets即“连分数生成网络”，是IBM Research提出的一种全新神经网络架构。与Transformer依赖多头注意力机制和前馈网络不同，CoFrGeNets用基于连分数的数学结构来替代这些组件。连分数能以紧凑的嵌套除法序列表达复杂函数，使模型用更少的参数实现更高的表达能力，从而降低计算资源消耗，缩短训练时间，并在多项基准测试中达到与Transformer相当甚至更好的性能。

Q2：CoFrGeNets的实际性能表现如何？

A：在下游分类任务中，CoFrGeNet变体（尤其是CoFrGeNet-F）在参数量远少于GPT2-xl的情况下，性能与其持平甚至略优。困惑度测试显示，CoFrGeNet同样优于GPT2-xl及多种高效注意力基线模型。即使与Llama-3.2B相比，CoFrGeNet在开放域问答和推理任务上仍保持竞争力，同时训练速度和推理速度更快，整体更轻量高效。

Q3：CoFrGeNets能直接集成到现有大语言模型中使用吗？

A：可以。CoFrGeNets设计上具备较强的灵活性，支持“即插即用”式集成，开发者可以选择只替换注意力层、只替换前馈网络，或两者同时替换，也可以将CoFrGeNet组件与传统Transformer组件混合使用。研究人员表示，该方法与现有大语言模型技术高度互补，不与其他优化策略冲突，可与剪枝、稀疏化等方法结合使用。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：CoFrGeNets：用连分数重构Transformer模型架构要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题