网易首页 > 网易号 > 正文 申请入驻

革命新架构掀翻Transformer!无限上下文处理,2万亿token碾压Llama 2

0
分享至

新智元报道

编辑:桃子 好困

【新智元导读】Transformer王座即将被取而代之!Meta、USC、CMU和UCSD联合提出了革命性新架构Megalodon,能够处理无限上下文,在2万亿token训练任务中,性能超越Llama2-7B实现了非凡的效率。

继Mamba之后,又一敢于挑战Transformer的架构诞生了!

来自Meta、南加州大学(USC)、CMU和UCSD的研究人员提出了全新的神经网络架构——Megalodon(巨齿鲨)。

这是专为有效处理「无限上下文」长度的LLM预训练,以及推理而设计的架构。

论文地址:https://arxiv.org/abs/2404.08801

我们都知道,Transformer架构个在处理长上下文时,会受到二次复杂度,以及长度外推能力弱的限制。

尽管已有次二次方解决方案(诸如线性注意力,状态空间模型),但它们在预训练效率,甚至下游任务的准确率上,通常还不及Transformer。

Megalodon的出现,就是为了解决无限处理上下文的难题。

同时,它可以同时实现高效训练(减少通信和计算量),以及高效推理(保持恒定的KV缓存)。

值得一提的是,在与Llama 2的直接比较中,Megalodon在处理70亿参数和2万亿训练token的任务上,不仅训练更高效,而且准确率也超过了Transformer。

具体来说,Megalodon的训练损失为1.70,位于Llama2-7B(1.75)和 13B(1.67)之间。

这一改变范式的创新代表着AI领域的巨大飞跃,Megalodon开启了计算效率和性能的新时代。

GPT-3发布以来最大里程碑

网友表示,先是谷歌,又是Meta,无限上下文离我们更进一步,LLM将会释放出无限潜力。

还有人认为「无限上下文长度,绝对是游戏规则的改变者」!

更有甚者,初创公司CEO称,「这是自GPT-3发布以来最大的里程碑,但却没有任何动静?!

Megalodon就相当于是AGI的基础」。

「Meta的Megalodon是一项突破性进展,对AGI具有重要意义。它的无限上下文长度模拟了人类的认知,实现了无缝任务切换」。

论文作者Hao Zhang表示,这是一种全新替代Transformer的架构。

论文作者Beidi Chen称,「注意力虽好,但你不需要完整的注意力机制」!

普林斯顿助理教授Tri Dao表示,「将SSM/RNN/EMA与注意力相结合是获得更高质量、更长上下文和更快推理的方法!Griffin、Jamba、Zamba和现在的Megalodon都是很好的例子」。

革命性架构,训练更稳定

那么,Megalodon架构采用了怎样的设计,才能取得如此优异的表现?

据介绍,它基于MEGA架构进行了改进,并新增了多个技术组件。

首先,复杂指数移动平均(CEMA)组件是一种全新技术,扩展了MEGA中使用的多维阻尼指数移动平均方法到复数域,可以增强模型处理复杂数据的能力。

其次,研究人员提出了一种创新的归一化技术——「时间步归一化层」。

它将传统的组归一化技术扩展到自回归序列建模任务中,允许模型在处理序列数据时,进行有效的归一化。

以往,「层归一化」(Layer Normalization)与Transformer相结合性能,虽令人印象深刻。

但很明显,层归一化并不能直接减少时间步长或顺序维度的内部协变量偏移。

另外,「组归一化」(Group Normalization)虽比「层归一化」在CV任务中获得改进,但它却无法直接应用于Transformer的自回归序列建模,因未来信息会通过时间步维度的均值和方差泄漏。

如下图所示,c展示了Megalodon架构中,层标准化和时间步标准化的方法。

最后,研究人员为了增强大规模LLM预训练的稳定性,提出了将归一化注意力,和带有两跳残差的预归一化相结合的配置。

这种配置可以优化模型的学习过程,提高训练的稳定性。

下图3中,a是Megalodon的完整框架草图。

中间和右边两张图分别介绍了,预归一化和带有两跳残差预归一化的配置。

2T token训练,性能超越Llama2-7B

在具体实验评估中,研究人员将Megalodon扩展到70亿参数规模,并将其应用于2万亿token的大规模LLM预训练中。

此外,作者还在中/小参数规模的序列建模基准上进行了实验,包括Long Range Arena (LRA) 、Speech Commands上的原始语音分类、ImageNet-1K上的图像分类,以及WikiText-103和PG19上的语言建模。

结果显示,在这些任务中,Megalodon在各种数据模式下的表现明显优于所有最先进的基线模型。

数据学习效率

通过训练损失图以及多个benchmark的结果可以看出,Megalodon比Transformer在7B参数下有更好的数据学习效率。

计算效率

针对不同的4K和32K上下文长度,Megalodon这一架构的预训练的计算效率也是非常强的。

学术基准上短上下文评估

具体来说,研究人员在短上下文(4K token)的标准学术基准上,对Megalodon与Llama 2,以及开源基础模型进行了比较。

在相同的2万亿token训练后,Megalodon-7B的表现明显优于Llama2-7B。

长上下文评估

针对不同长上下文困惑度,证明了Megalodon可以利用很长的上下文进行下一个token预测的能力。

图5显示了,验证数据集在4K到2M各种上下文长度下的困惑度(PPL)。

在Scroll数据集中的长上下文QA任务中,Megalodon在NaQA上获得最佳F1,并与Llama 2 Long相竞争。

中等规模基准评估

在Long Range Arena(LRA)的测试中,新架构显著缩小了分块注意力和全注意力之间的性能差距。

其他评测集,如原始语音分类、ImageNet-1K、WikiText-103和PG-19的结果如下:

一些感想

这里quote一下这项研究原作者的一些感悟和经历:

这个工作从有想法到最终完成,经历了近两年的时间。期间经历数次失败,也学习到了很多大规模预训练时代正确做科研的方法。

通过这个项目,研究者们也体会到了在大模型时代做新的模型架构时要注意的问题。总结来说:

  • 对于两个不同模型架构的比较必须要在数据完全相同的条件下才有说服力。当数据不同的时候,哪怕不同的比例很小(<10%),最后的结果也可能有明显的差别。包括training loss和下游任务的结果,都受到训练数据的很大影响。

  • 对于不同的架构,一定要在模型得到充分训练的条件下的比较才有意义。例如对于7B大小的模型,2T的训练数据几乎是基本要求。有的模型可能在数据少的时候表现的很好,但是数据规模增大后反而落后其他模型。因此,对于大模型架构的比较,结果有说服力的前提是充分的训练。

  • 对于架构差别很大的模型,传统的基于flops的scaling law的比较意义在降低。原因是两个不同架构的模型,即使有相同的flops,他们的实际速度可能差几倍。这个和架构算法本身是不是适合在最先进的GPU上计算有很大的关系。因此,真正贴合实际的比较方法是像本文中那样分成数据学习效率和计算效率两个方面。但是这样在实际中对于研究员的工程能力有很高的要求。在大模型时代,新算法的开发已经和系统等方面高度结合在一起。

参考资料:

https://arxiv.org/abs/2404.08801

https://zhuanlan.zhihu.com/p/692682649

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

/阅读下一篇/

DeepSeek R2来了?全新推理时Scaling论文联手清华震撼发布!

返回网易首页 下载网易新闻客户端
相关推荐
热点推荐
网传深圳开始管制路边摊,网友:苦不堪言!晚上出去散个步都难了

网传深圳开始管制路边摊,网友:苦不堪言!晚上出去散个步都难了

明月杂谈
2025-04-03 18:43:43
男子和邻居妻子偷情后,想交换妻子遭拒他将邻居灭门,2021年落网

男子和邻居妻子偷情后,想交换妻子遭拒他将邻居灭门,2021年落网

汉史趣闻
2025-03-29 14:13:36
汪小菲清明节带儿子逛公园,父子俩手牵着手,箖箖踮脚走路引热议

汪小菲清明节带儿子逛公园,父子俩手牵着手,箖箖踮脚走路引热议

180°视角
2025-04-04 16:06:40
纳斯达克中国金龙指数跌超7%,哔哩哔哩跌超11%,京东、阿里巴巴跌近10%

纳斯达克中国金龙指数跌超7%,哔哩哔哩跌超11%,京东、阿里巴巴跌近10%

每日经济新闻
2025-04-04 21:45:08
刚刚,国务院5条措施反制美国,纳斯达克大跌20%,原油直接崩盘

刚刚,国务院5条措施反制美国,纳斯达克大跌20%,原油直接崩盘

鹏哥投研
2025-04-04 20:23:53
马英九:若大陆统一台湾的手段不和平,过程不民主,台湾人不接受

马英九:若大陆统一台湾的手段不和平,过程不民主,台湾人不接受

红色鉴史官
2025-04-04 19:45:03
把美股捅出大出血之后,特朗普发文自夸

把美股捅出大出血之后,特朗普发文自夸

鲁中晨报
2025-04-04 09:46:04
10年16冠!曼城官方告别德布劳内:向英超历史最伟大球员之一致敬

10年16冠!曼城官方告别德布劳内:向英超历史最伟大球员之一致敬

直播吧
2025-04-04 19:57:12
惠誉再次下调中国信用评级,美国36万亿债务获高评级!双标严重?

惠誉再次下调中国信用评级,美国36万亿债务获高评级!双标严重?

王五说说看
2025-04-04 16:34:05
杜邦股价直线下挫 跌幅扩大至8%

杜邦股价直线下挫 跌幅扩大至8%

每日经济新闻
2025-04-04 20:09:59
尹锡悦被弹劾,李在明若上台,中韩会很好?看看他是咋夸特朗普的

尹锡悦被弹劾,李在明若上台,中韩会很好?看看他是咋夸特朗普的

千里持剑
2025-04-04 11:32:17
余承东卸任华为车BU董事长

余承东卸任华为车BU董事长

财联社
2025-04-04 10:45:28
若我们这代人不收复台湾,下代人统一时,或会直接将台湾打成废墟

若我们这代人不收复台湾,下代人统一时,或会直接将台湾打成废墟

鸢飞九天
2025-04-03 22:50:06
乱!贝克汉姆大儿子&二儿子断绝来往 后者现女友曾和前者交往

乱!贝克汉姆大儿子&二儿子断绝来往 后者现女友曾和前者交往

直播吧
2025-04-04 21:00:25
俄罗斯情侣在芭提雅海里公然发生性行为,引发轰动

俄罗斯情侣在芭提雅海里公然发生性行为,引发轰动

曼谷陈大叔
2025-04-04 15:24:11
纳斯达克中国金龙指数跌幅扩大,现在跌10.0%,最新报6792.51点

纳斯达克中国金龙指数跌幅扩大,现在跌10.0%,最新报6792.51点

每日经济新闻
2025-04-04 22:39:03
深夜突发6.2级地震!接连强震!7.9级7.3级!全球进入震动模式

深夜突发6.2级地震!接连强震!7.9级7.3级!全球进入震动模式

灰产圈
2025-04-04 16:04:36
出大事了!深夜突发利空,下周A股将大跌?

出大事了!深夜突发利空,下周A股将大跌?

龙行天下虎
2025-04-04 21:09:34
热门中概股美股盘前全线下行,阿里巴巴、拼多多跌逾8%,京东跌7.7%,百度、贝壳、小鹏等多股跌6%

热门中概股美股盘前全线下行,阿里巴巴、拼多多跌逾8%,京东跌7.7%,百度、贝壳、小鹏等多股跌6%

每日经济新闻
2025-04-04 19:02:07
大陆围台演训刚结束,不到12小时,美改变对台称呼,要对华摊牌?

大陆围台演训刚结束,不到12小时,美改变对台称呼,要对华摊牌?

林子说事
2025-04-04 10:21:47
2025-04-05 01:15:00
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
12468文章数 66003关注度
往期回顾 全部

科技要闻

DeepSeek提出新方法 或将应用于R2

头条要闻

英媒绷不住了 最新封面:特朗普“让中国再次伟大”

体育要闻

挑对手!恩怨局!CBA季后赛故事可太多了

娱乐要闻

汪小菲懒理S妈暗讽,带孩子户外散步

财经要闻

中方多箭齐发!对美加征34%关税

汽车要闻

别克GL8陆尚内饰官图发布 有望上海车展亮相

态度原创

艺术
时尚
旅游
游戏
亲子

艺术要闻

故宫珍藏的墨迹《十七帖》,比拓本更精良,这才是地道的魏晋写法

在春天,遇见最美的配色

旅游要闻

热闻|清明假期将至,热门目的地有哪些?

FS社新作"防火女"竟是大老鼠:融入可爱的"任天堂特色"

亲子要闻

给7岁小女孩的温馨生日寄语