香港
闻乐 发自 凹非寺
量子位 | 公众号 QbitAI
都说苹果AI慢半拍，没想到新研究直接在Transformer头上动土。（doge）
「Mamba+工具」，在Agent场景更能打！
在最新论文《To Infinity and Beyond》中，研究团队发现：
- 在长任务、多交互的Agent式任务中，基于SSM架构（状态空间模型）的模型，比如Mamba，在效率与泛化能力上，展现出超越Transformer的潜力。
Mamba一作表示：
超越Transformer，怎么说？
Transformer的长篇累牍问题
先说说Transformer的“富贵病”。
Transformer确实很聪明，靠自注意力机制能够同时关注输入序列中所有词语之间的关联，比如阅读文章时可以快速建立首尾关键信息的联系。
但这种能力的实现需要较高的计算成本，随着输入序列长度的增加，其计算量会呈平方级增长。
例如，输入1000个词时，需要处理1000×1000=100万次词对关系；
要是处理有上万个词的长文档，计算量会达到亿级，这对普通GPU来说是不小的负担。
而这种计算成本过高的问题还会引发连锁反应：
- 首先是处理延迟显著增加。在长序列任务中，模型的响应速度会大幅下降；
- 其次，在Agent类任务中表现不佳。Agent任务通常需要动态决策与迭代优化的能力，而Transformer在每一步操作中都需重新计算全局注意力，这就会导致整体效率偏低，难以满足此类任务对实时性和灵活性的需求。
相比之下，Mamba则采用了更为轻量化的设计思路。
「Mamba+工具」更高效
作为状态空间模型（SSM）的一种，Mamba不依赖全局注意力机制，而是通过持续更新的内部状态来理解输入信息
有点像人写流水账，只记最近进展，不翻旧账。
这种机制带来了三项显著优势：
- 计算量随序列长度呈线性增长
- 例如处理1000个词仅需对应数量级的计算，远低于Transformer的消耗；
- 支持流式处理
- 能够边接收输入边进行计算，无需等待完整序列加载完毕；
- 内存占用保持稳定
- 不会随序列长度增加而显著上升，在效率方面表现突出。
不过，Mamba也有个明显局限：内部状态的存储容量有限，在处理超长序列任务时，早期信息容易被后续输入覆盖，导致模型对前文关键信息的保留能力较弱。
针对这一问题，苹果团队提出了新方案——通过引入外部工具扩展模型的信息处理能力
比如算数学题时用指针工具记数字、存进位；修代码时用文件查看工具反复读代码、用运行工具测报错……
这些工具可以在任务执行过程中提供辅助，相当给模型提供了可动态调用的外部存储和交互接口。
这样做的结果就是，引入工具后Mamba的性能得到显著提升：
在多位数加法任务中，配备指针工具的Mamba展现出良好的泛化能力，经过5位数加法训练后，能够稳定处理1000位数的计算，准确率接近100%，而Transformer在处理20位数时已出现明显误差；
在代码调试任务中，让Mamba模拟交互式调试流程（查看文件、局部修改、执行验证的迭代方式），面对复杂度高于训练集的代码库，其正确率显著高于Transformer；
在逻辑推理及汉诺塔等需要分步规划的任务中，结合工具的Mamba能够应对更复杂的问题场景，Transformer则要么算得慢，要么直接卡壳……
可以看出，Transformer聪明但慢，做事情讲究从头到尾一步到位，遇上需要反复调整的Agent式任务，就显得又贵又笨重；
Mamba反应快但记性差，但装上外置大脑后补足记忆短板后，效率嘎嘎提升。
这么一看，「Mamba+工具」的组合可能真要在Agent场景下抢Transformer的风头了。
论文地址：https://arxiv.org/pdf/2510.14826
参考链接：https://x.com/_albertgu/status/1980287154883358864
— 完 —
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
