网易首页 > 网易号 > 正文 申请入驻

Mamba架构第一次做大!混合Transformer,打败Transformer

0
分享至

  • 丰色 发自 凹非寺
    量子位 | 公众号 QbitAI

精彩精彩,第一个把爆火Mamba架构真正扩展到足够的工作来了。

520亿参数,还是Mamba+Transformer混合架构。

它的名字叫Jamba



取两种架构之长,模型质量和效率兼得,要吞吐量有吞吐量,要低内存有低内存。



初步跑分显示:

  • Jamba性能总体接近Mixtral 8x-7B,处理128k长上下文时吞吐量却是其3倍



  • 一共支持256k上下文,而单张A100 GPU即可处理140k,直接拿下同等规模模型之最,高效又经济。



这项成果,来自以色列AI公司AI21labs

Mamba原作者看了之后都激动转发:

绝对的“大新闻”。



Mamba、Transformer,合体

由CMU和普林斯顿大学提出的Mamba,解决了Transformer的局限性(随着推理上下文越长,模型内存占用量越大,同时推理速度变慢,由此导致算力消耗巨大)。

但它也有自己的缺点——

在不关注整个上下文的情况下,Mamba的输出质量很差,尤其是在召回相关的任务上。

本着“既要也要”的原则,Jamba站出来提供两全其美之作。



Jamba由Transformer、Mamba和MoE层组成,可同时优化内存、吞吐量和性能。

如下图所示,为了集成两种架构,Jamba采用块层(blocks-and-layers)组合的创新方法。

简单来说,就是每个Jamba块包含一个注意力层或一个Mamba层,再跟一个多层感知器MLP,总体比例保证为每八层一个Transformer层



其次,Jamba利用MoE来增加模型参数的总量,同时简化推理中使用的活动参数量。

最终模型容量高了,计算需求也没有相应的增加。

而为了在单张GPU(80GB)上最大限度地提高模型吞吐量,Jamba还优化了所用MoE层和专家数量,最终为日常推理工作负载留出足够内存。

值得一提的是,在推理时,Jamba的MoE层仅需520亿可用参数中的120亿,就能同时保证比同等大小的仅Transformer模型更高效。

要知道,此前有人光是尝试过扩展Mamba,就没能做到30亿参数之上。

因此,除了成功合体Mamba和Transformer,Jamba也达成了第二大成就:

同类中第一个达到生产级规模和质量的混合架构(SSM混Transformer)(ps. Mamba就是一种状态空间模型SSM)。

吞吐量和效率up

初步评估显示,Jamba在吞吐量和效率等关键指标上表现出色。

首先,Jamba可以在长上下文中提供3倍吞吐量,比Mixtral 8x7B等大小相当的Transformer模型都要高效。

如下图所示,当上下文窗口达到128k时,Jamba的每秒token数近乎1500,而此时表现最好的Mixtral 8x7B应该才在500往上的样子。



其次,在单张GPU上,Jamba最多可以容纳140k上下文,经济又高效。

相比之下,Mixtral 8x7B为64k,Llama2 70B则仅为16k。



第三,Jamba的输出质量也得到了保证。

在如下一系列推理基准上,4项中有3项它都拿下了SOTA。同时,在GSM8K等基准上,Jamba即使没有夺魁,也和SOTA模型打了个不相上下。

总体来说,Jamba的性能接近Mixtral 8x7B。



最后,作者提示,别忘了,这些都还只是初步改造后的结果,后续还有很多优化空间(比如MoE并行、更快的Mamba实现)。所以到时性能会更强。

好消息:Jamba现在已经上线Hugging Face,并且划重点:采用apache-2.0许可

(Jamba的指令版本则将很快通过AI21labs平台上线。)



网友看完都感动哭了。





传送门:
https://huggingface.co/ai21labs/Jamba-v0.1

参考链接:
[1]https://www.ai21.com/blog/announcing-jamba
[2]https://www.ai21.com/jamba
[3]https://twitter.com/AI21Labs/status/1773350888427438424?s=20
[4]https://twitter.com/tri_dao/status/1773418926518734957?s=20

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
章子怡戛纳荣获两分钟清场,一旁的杨幂“撇嘴”抢镜,这是怎么了

章子怡戛纳荣获两分钟清场,一旁的杨幂“撇嘴”抢镜,这是怎么了

娱乐的小灶
2024-05-25 09:52:56
凤姐美国发飙:请中国人别再打扰我,我15年还没有结婚!网友怒斥

凤姐美国发飙:请中国人别再打扰我,我15年还没有结婚!网友怒斥

影像温度
2024-05-24 22:44:39
为什么突然移除李自成和太平天国的雕塑?

为什么突然移除李自成和太平天国的雕塑?

历史总在押韵
2024-05-24 23:56:09
霍启仁求婚成功,女方是泰国富家女,郭晶晶要有妯娌了

霍启仁求婚成功,女方是泰国富家女,郭晶晶要有妯娌了

素素娱乐
2024-05-24 08:41:43
台军导弹随便拍,完全不用考虑坐标问题

台军导弹随便拍,完全不用考虑坐标问题

三叔的装备空间
2024-05-25 09:19:00
央美女生毕设被吐槽是“废纸壳”,作者道歉了,艺术不应自我感动

央美女生毕设被吐槽是“废纸壳”,作者道歉了,艺术不应自我感动

飞鱼的说说
2024-05-25 10:19:36
曝45岁伏明霞离婚,净身出户原因揭晓,71岁百亿丈夫只说6个字

曝45岁伏明霞离婚,净身出户原因揭晓,71岁百亿丈夫只说6个字

深度知局
2024-05-20 19:25:53
令人窒息!名记:爱德华兹末节休息期间在球员通道戴上面罩吸氧

令人窒息!名记:爱德华兹末节休息期间在球员通道戴上面罩吸氧

直播吧
2024-05-25 11:01:06
杨丽萍裸体当观众面跳舞,身上每处可见,这难道就是为艺术献身吗

杨丽萍裸体当观众面跳舞,身上每处可见,这难道就是为艺术献身吗

橘子大娱社
2024-05-24 20:10:02
周鸿祎:只要大家都支持国产品牌,丰田埃尔法、雷克萨斯就只会降价!提了人生第一款新能源极氪009光辉版

周鸿祎:只要大家都支持国产品牌,丰田埃尔法、雷克萨斯就只会降价!提了人生第一款新能源极氪009光辉版

和讯网
2024-05-24 18:22:59
网传某汽车品牌供应商被摊派多台新车抵货款?让供应商叫苦连天…

网传某汽车品牌供应商被摊派多台新车抵货款?让供应商叫苦连天…

火山诗话
2024-05-25 06:43:03
东契奇绝杀森林狼:“客场2比0?我也会!”

东契奇绝杀森林狼:“客场2比0?我也会!”

张佳玮写字的地方
2024-05-25 12:41:43
Lowe:整个NBA历史上 很难找到一条比绿军通向总决赛更轻松的路

Lowe:整个NBA历史上 很难找到一条比绿军通向总决赛更轻松的路

直播吧
2024-05-25 07:38:11
追梦:我在直播中不断暗示 这是爱德华兹第一次表现出胆怯!

追梦:我在直播中不断暗示 这是爱德华兹第一次表现出胆怯!

直播吧
2024-05-25 07:50:01
“混帐中国人”,华人老兵在芝加哥超市外遭黑人围殴被打到晕厥

“混帐中国人”,华人老兵在芝加哥超市外遭黑人围殴被打到晕厥

华人生活网
2024-05-25 05:22:26
今年1号台风将生成 广东26日起再迎强降雨

今年1号台风将生成 广东26日起再迎强降雨

新快报新闻
2024-05-25 11:06:05
订单量突飞猛进!竟然暴涨70%!

订单量突飞猛进!竟然暴涨70%!

小蜜情感说
2024-05-25 04:18:12
众生相!华子致命失误直接离场东契奇对戈贝尔怒吼 裁判引大争议

众生相!华子致命失误直接离场东契奇对戈贝尔怒吼 裁判引大争议

厝边人侃体育
2024-05-25 11:17:35
解放军“围台”演习开始后,日本竖起导弹发射架

解放军“围台”演习开始后,日本竖起导弹发射架

枢密院十号
2024-05-24 23:41:13
回村看望一位93岁的堂叔公后,我才发现:有些人活得长寿毫无意义

回村看望一位93岁的堂叔公后,我才发现:有些人活得长寿毫无意义

小马达情感故事
2024-05-24 16:05:02
2024-05-25 13:24:49
量子位
量子位
追踪人工智能动态
9437文章数 175293关注度
往期回顾 全部

科技要闻

刘强东:从来不拼搏的人 不是我的兄弟

头条要闻

卢卡申科就莱希坠机谴责美国 普京在旁提到俄制直升机

头条要闻

卢卡申科就莱希坠机谴责美国 普京在旁提到俄制直升机

体育要闻

华子致命失误直接离场 东契奇对戈贝尔怒吼

娱乐要闻

霍启仁求婚成功,郭晶晶要有妯娌了

财经要闻

白重恩解读中国经济的3个关键问题

汽车要闻

纯电续航205km版售12.99万起 风神L7上市交付

态度原创

亲子
房产
本地
手机
公开课

亲子要闻

周口广电暑期夏令营开营啦!报名咨询电话:8261689

房产要闻

超高性价比!仁恒长天云汀价格曝光!近500套房源一次砸出!

本地新闻

2024沈阳皇姑第二届半程马拉松

手机要闻

京东折叠屏手机成交额TOP5排名:华为Mate X5第一

公开课

近视只是视力差?小心并发症

无障碍浏览 进入关怀版