CoFrGeNets：用连分数重构Transformer模型架构

以GPT、Gemini、Claude和Llama为代表的主流Transformer大语言模型，凭借强大的分类与语言生成能力，已成为自然语言处理领域的标准方案。然而，这类模型严重依赖多头注意力机制和前馈网络，涉及大量参数，消耗可观的计算资源，导致能耗高、训练周期长等问题长期困扰业界。

是否存在一种方法，能够在不牺牲性能的前提下大幅降低模型运行所需的资源？IBM Research的一支研究团队给出了他们的答案——CoFrGeNets，即"连分数生成网络"（Continued Fraction Generative Networks）。

CoFrGeNets是一种全新的模型架构，它以连分数这一数学表示方法为核心，取代了Transformer模型中的传统组件。连分数能够以紧凑的形式表达复杂函数，多个组件相互嵌套组合，可以在不成比例增加参数量的前提下提升表达能力。相关研究成果已整理成论文，并于本周在韩国首尔举行的国际机器学习大会（ICML）上正式发布。

IBM Research首席研究科学家Amit Dhurandhar表示，这项研究背后有两个核心驱动力：一是当前大语言模型的架构设计过度依赖Transformer这一单一主导思路，引入新的替代方案有助于拓宽模型设计的可能性；二是研究团队希望系统性地探索连分数这一函数类的能力边界。

CoFrGeNet的核心工作原理

CoFrGeNet的核心在于用连分数来表示函数。连分数通过嵌套的除法序列来表达一个值，能够以紧凑的方式捕捉复杂的数学关系。将其应用于神经网络后，这些结构形成了计算"梯级"，每一层的计算结果依赖于前一层的倒数。

多个这样的"梯级"集合在一起，能够用远少于传统神经网络的参数量来近似非常复杂的函数，从而成为前馈网络等密集层的有力替代。在实际运行中，输入数据被逐级传递，每一步与模型参数相乘后加上前一步的倒数，由此保留了Token生成的因果链结构。

研究团队重点验证了以下两个方向：

注意力机制替换：在保留自回归语言生成所需因果结构的前提下，实现Token与Token之间的交互。

前馈机制替换：用更少的参数完成特征混合，取代标准前馈网络。

研究团队最初使用轻量级开源工具包nanoGPT进行小规模实验，验证不同架构方案的可行性，再逐步扩大规模。Dhurandhar解释道："如果在这个阶段行不通，规模更大时肯定也不行。"

性能表现：更少参数，同等甚至更优的效果

为全面评估CoFrGeNet的性能，研究团队将其与GPT2-xl（1.5B）和Llama-3.2B等主流基线模型进行对比，在OpenWebText、GneissWeb等大型数据集上进行预训练，并通过GLUE分类基准和多数据集困惑度测试进行评估。

结果令人瞩目：在下游分类任务中，CoFrGeNet变体（尤其是CoFrGeNet-F）在参数量远少于对手（通常少数亿个参数）的情况下，性能与GPT2-xl持平甚至略胜一筹。困惑度指标（衡量模型预测样本的准确程度）同样显示，CoFrGeNet在多项测试中优于GPT2-xl以及Synthesizer-D、稀疏注意力等高效注意力基线。此外，CoFrGeNet还在训练速度和推理速度上均有所提升。

即便是在更大规模的Llama-3.2B实验中，CoFrGeNet在开放域问答和推理等任务上依然保持竞争力，同时体量更小、训练更快。

攻克数值稳定性难题

连分数在现代硬件上存在计算成本高和数值不稳定的固有挑战——例如，分母出现极小值时结果可能趋近于无穷大，这对GPU运算十分危险。

对此，研究团队采用了一种名为"continuants"（连分数伴随量）的等价表示方式，将连分数化简为两个多项式之比，无论梯级有多深，只需执行一次除法运算，大幅降低了计算开销，使CoFrGeNet能够高效地在现代数字硬件上训练和推理。

在训练稳定性方面，团队还引入了"增量训练"方法，在训练过程中逐层引入模型层，而非一次性全局优化。

即插即用，兼容现有架构

CoFrGeNet的另一大优势是灵活性强，具备"即插即用"的特点。开发者可以选择性地替换注意力层、前馈网络，或同时替换两者，也可以将新组件与传统组件混合使用。

研究论文共同作者、IBM Research高级技术研究员Vijil Chenthamarakshan表示："这一方法与现有技术高度互补。大语言模型其他方面出现新进展时，完全可以与我们的模型结合使用，两者并不冲突。"

与剪枝、稀疏化等在不改变架构前提下削减参数的效率优化方法相比，CoFrGeNet提供了一种在函数表示层面的全新思路，为研究开辟了新方向，同时与其他优化策略保持兼容。

前景展望：混合专家架构与硬件加速

从实际应用潜力看，CoFrGeNet在替换前馈网络组件方面前景尤为突出——前馈网络在许多模型中占据了相当大比例的参数量。与IBM Granite系列模型团队的初步合作表明，CoFrGeNet有望在相近规模下减少参数数量或提升性能。

该方法在混合专家（MoE）架构下表现更为出色，因为每位"专家"通常只处理部分Token，压缩潜力更大，而MoE架构正是当前大多数前沿模型的核心技术。

在硬件层面，研究团队正与伦斯勒理工学院（RPI）合作，探索将除法运算迁移至模拟处理器或现场可编程门阵列（FPGA）等非GPU硬件上执行，充分利用这类硬件在除法运算上的速度优势，再由GPU承担其擅长的乘法运算。

Dhurandhar表示："这样不仅能大幅提速，还能显著降低功耗。"

综合来看，CoFrGeNet既是提升模型效率的实用工具，也代表着一种拓宽神经网络架构认知边界的概念性突破，有望为大语言模型的发展开辟一条更高效、更节能的新路径。

Q&A

Q1：CoFrGeNets是什么？和Transformer模型有什么区别？

A：CoFrGeNets即"连分数生成网络"，是IBM Research提出的一种全新神经网络架构。与Transformer依赖多头注意力机制和前馈网络不同，CoFrGeNets用基于连分数的数学结构来替代这些组件。连分数能以紧凑的嵌套除法序列表达复杂函数，使模型用更少的参数实现更高的表达能力，从而降低计算资源消耗，缩短训练时间，并在多项基准测试中达到与Transformer相当甚至更好的性能。

Q2：CoFrGeNets的实际性能表现如何？

A：在下游分类任务中，CoFrGeNet变体（尤其是CoFrGeNet-F）在参数量远少于GPT2-xl的情况下，性能与其持平甚至略优。困惑度测试中，CoFrGeNet同样优于GPT2-xl及多种高效注意力基线模型。即使与Llama-3.2B相比，CoFrGeNet在开放域问答和推理任务上仍保持竞争力，同时训练速度和推理速度更快，整体更轻量高效。

Q3：CoFrGeNets能直接集成到现有大语言模型中使用吗？

A：可以。CoFrGeNets设计上具备较强的灵活性，支持"即插即用"式集成，开发者可以选择只替换注意力层、只替换前馈网络，或两者同时替换，也可以将CoFrGeNet组件与传统Transformer组件混合使用。研究人员表示，该方法与现有大语言模型技术高度互补，不与其他优化策略冲突，可与剪枝、稀疏化等方法结合使用。