网易首页 > 网易号 > 正文 申请入驻

H100最强竞品正式发布!推理快1.6倍,内存高达192GB,来自AMD

0
分享至

丰色 发自 凹非寺
量子位 | 公众号 QbitAI

这一夜,AI科技圈热闹非凡:

谷歌搬出“蓄谋已久”的大杀器Gemini,号称直接掀翻GPT-4;

另一边,芯片商AMD也按耐不住,正式发布Instinct MI300X GPU,直接对标英伟达H100。



Instinct MI300X是AMD有史以来最大的芯片——

包含1530亿个晶体管,AI任务推理性能比H100快1.6倍,内存容量足足192GB,是H100的两倍以上(2.4x)。



它的出现,无疑为业界提供了颇有竞争力的第二种选择。

消息称,微软、Meta、OpenAI和Oracle等一众公司已率先承诺将购买AMD的这款GPU来替代H100。

AI加速芯片的市场,是否就此开始改变?

推理性能比H100 HGX快1.6倍,最高支持2900亿参数

AMD在6月就预告了这款芯片,今天是正式发布,公布参数等细节。

据介绍,Instinct MI300X是AMD使用有史以来最先进的生产技术打造,是Chiplet设计方法的“代表之作”。

它的底层是4个6nm I/O芯片,上面融合了8个HBM3内存(12Hi堆栈)和8个5nm CDNA 3 GPU小芯片(3D堆栈)。

其中3D堆叠GPU和I/O芯片通过“3.5D”封装技术进行连接。

最终成品功耗750W,包含304个计算单元、5.3TB/s带宽,以及高达192GB的HBM3内存(相比之下,H100仅80GB)。



在实际的生成式AI平台应用中,MI300X被设计为8个一组 ,通过Infinity Fabri进行互联,各GPU之间的吞吐量为896 GB/s。



同时,这一组合的内存总量达到1.5TB HBM3(H100为640GB),可提供高达10.4 Petaflops的计算性能(BF16/FP16)。

与英伟达的H100 HGX平台(BF16/FP16)相比,内存总量增加2.4倍,计算能力提高1.3倍。

与此同时,AMD还为MI300X配备了400GbE网络并支持多种网卡,比英伟达的选择更多。

下面是AMD分享的官方性能测试结果(理性参考)。

首先,对于HPC工作负载,MI300X的FP64和FP32向量矩阵理论峰值吞吐量是H100的2.4倍;对于AI工作负载,其TF32、FP16、BF16、FP8和INT8理论峰值吞吐量是H100的1.3倍。

注意,这些预测都不包含稀疏性(尽管MI300X确实支持)。

其次,AI推理任务中,AMD以1760亿参数的Flash Attention 2为例,声称MI300X在吞吐量(tokens/s)方面比H100高出1.6倍,同时,在700亿参数的Llama 2上,聊天延迟更慢,比H100快1.4倍(基于2k序列长度/128token workload)。



不得不说,MI300X的大内存容量和带宽确给它带来了这一不小的优势。

相比之下,在训练任务上,MI300X在300亿参数的MPT上的性能倒是与H100 HGX大致相同。



所以总的来看,MI300X的优势更在于推理。

此外,还需要强调的是,MI300X由于内存容量实在更大,因此可以容纳比H100多两倍的300亿参数训练模型、700亿参数的推理模型。

以及MI300X最多可支持700亿训练和2900亿参数的推理模型,这都比H100 HGX多一倍

最后,大伙最关心的价格——苏妈没说,但表示“肯定、必须低于英伟达”。

目前,AMD已经向HPE、戴尔、联想、SuperMicro等原始设备制造商发货,正式发售时间定于下季度,也就是明年。

说到2024年,AI加速芯片市场将无比热闹

除了AMD的MI300X,英特尔也将升级其Gaudi架构GPU,以及英伟达H200也要在2024年Q2问世。

Tomshardware表示,H200在内存容量和带宽方面大概率会更上一层楼,计算性能则预计将和MI300X差不多。

最后,在发布会上,苏妈也预测,2027年AI芯片总市场将达到4000亿美元。而她认为,AMD有信心从中分走一块还不错的蛋糕(get a nice piece of that)。



全球首款数据中心APU也来了

本场发布会上,和Instinct MI300X一共亮相的还有Instinct MI300A

前者专供生成式AI领域,后者则主要用于HPC计算

据悉,MI300A是全球首个数据中心APU,CPU和GPU结合在同一个封装之中,对标的是英伟达Grace Hopper Superchips ,后者CPU和GPU位于独立的封装中,再串联到一起。

具体而言,MI300A采用和MI300X相同的基本设计和方法,但包含3个5nm核心计算芯片(CCD),每个配备8个Zen 4 CPU,所以一共24线程CPU核心,外加228个CDNA 3计算单元。

内存容量上,相比MI300X中的8个12Hi堆栈,它改为8个8Hi堆栈,从而将容量从192GB缩减至128G,内存带宽仍为5.3TB/s。

这样的结果仍然是英伟达Nvidia H100 SXM GPU提供的1.6倍。



据悉,MI300A已开始用于美国劳伦斯利弗莫尔实验室,基于该芯片,该实验室的El Capitan有望成为世界首台2 Exaflop级别的超级计算机。

One More Thing

就在同一天,谷歌也发布了最新AI芯片:TPU v5p。

它主要和前代相比:

bfloat16性能提升至1.67倍,内存容量增至95GB,新增int8运算,速度为918 TOPs等等。



具体到模型上,用它训练一个类似GPT-3的1750亿参数模型的性能将提高2.8倍。



参考链接:
[1]https://www.tomshardware.com/pc-components/cpus/amd-unveils-instinct-mi300x-gpu-and-mi300a-apu-claims-up-to-16x-lead-over-nvidias-competing-gpus
[2]https://www.cnbc.com/2023/12/06/meta-and-microsoft-to-buy-amds-new-ai-chip-as-alternative-to-nvidia.html
[3]https://cloud.google.com/blog/products/ai-machine-learning/introducing-cloud-tpu-v5p-and-ai-hypercomputer

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
广州撞桥事故中一货车坠船司机捡回一命,家属:获救后还给老婆打了电话

广州撞桥事故中一货车坠船司机捡回一命,家属:获救后还给老婆打了电话

极目新闻
2024-02-22 18:40:21
上海出轨张老师曝大量美照,难怪16岁男主挡不住,换你也把持不住

上海出轨张老师曝大量美照,难怪16岁男主挡不住,换你也把持不住

辣条小剧场
2024-02-20 08:00:10
被蔡英文等到了:金门翻船事件,美国终于表态,看来已做最坏打算

被蔡英文等到了:金门翻船事件,美国终于表态,看来已做最坏打算

千里持剑
2024-02-21 15:05:24
李显龙:美国打败中国,就像打败苏联一样?惊人言论震惊世界

李显龙:美国打败中国,就像打败苏联一样?惊人言论震惊世界

说天说地说实事
2024-02-12 08:03:10
刘大妈做空股指期货大赚两千多万,因指数突然大涨6天而爆仓

刘大妈做空股指期货大赚两千多万,因指数突然大涨6天而爆仓

股海风云大作手
2024-02-22 12:28:13
甘肃网红“杨老二”去世 亲哥哥回应:他在社火表演时被人灌酒,躺床上休息再没醒来

甘肃网红“杨老二”去世 亲哥哥回应:他在社火表演时被人灌酒,躺床上休息再没醒来

红星新闻
2024-02-22 16:40:24
宗庆后在ICU救治,春节前曾因肺癌入院,去年已退到娃哈哈二线

宗庆后在ICU救治,春节前曾因肺癌入院,去年已退到娃哈哈二线

红星新闻
2024-02-22 18:16:16
劲爆!金融圈大瓜!方正证券一职工家属举报妻子长期与上级淫乱…

劲爆!金融圈大瓜!方正证券一职工家属举报妻子长期与上级淫乱…

火山诗话
2024-02-22 16:31:32
贾玲评论区沦陷,被骂“恶心”、“营销咖”,纪录片宣布取消上线

贾玲评论区沦陷,被骂“恶心”、“营销咖”,纪录片宣布取消上线

萌神木木
2024-02-22 17:41:18
山姆的“穷鬼套餐”火了,4亿中产汗流浃背!堪比9.9一杯的瑞幸

山姆的“穷鬼套餐”火了,4亿中产汗流浃背!堪比9.9一杯的瑞幸

首席商业智慧
2024-02-22 17:47:01
冉雄飞:据传陈戌源被判15年、杜兆才被判13年,所以李铁含冤上诉

冉雄飞:据传陈戌源被判15年、杜兆才被判13年,所以李铁含冤上诉

直播吧
2024-02-22 15:59:12
最新官宣!迁西李书记,涉险“过关”了?

最新官宣!迁西李书记,涉险“过关”了?

仕道
2024-02-22 16:10:05
市委书记王彦博被查,前天还在开会

市委书记王彦博被查,前天还在开会

鲁中晨报
2024-02-22 12:01:22
为什么同样是网红 章若楠的颜值却很抗打

为什么同样是网红 章若楠的颜值却很抗打

室内设计师阿喇
2024-02-20 11:04:01
主媒失声,平台沉默,贵州山火比不过上海女教师,是全民的悲哀

主媒失声,平台沉默,贵州山火比不过上海女教师,是全民的悲哀

顾礼先生
2024-02-22 16:33:54
最高温度750℃!湖北孝昌“吹雪大王”上线,硬核除雪融冰→

最高温度750℃!湖北孝昌“吹雪大王”上线,硬核除雪融冰→

央视财经
2024-02-22 17:46:33
库明加5年1.5亿远逊顶薪!美媒:勇士恐惧普尔2.0 追梦狂赞无用

库明加5年1.5亿远逊顶薪!美媒:勇士恐惧普尔2.0 追梦狂赞无用

颜小白的篮球梦
2024-02-22 12:44:12
华为最强小折叠亮相!余承东展示华为Pocket 2真机

华为最强小折叠亮相!余承东展示华为Pocket 2真机

快科技
2024-02-22 15:05:50
美议员称不管谁当选新总统都将继续支持台湾地区,外交部回应

美议员称不管谁当选新总统都将继续支持台湾地区,外交部回应

澎湃新闻
2024-02-22 15:46:26
发生了什么?连拉10个涨停

发生了什么?连拉10个涨停

中国基金报
2024-02-22 12:30:57
2024-02-22 19:36:49
量子位
量子位
追踪人工智能动态
9077文章数 174945关注度
往期回顾 全部

数码要闻

Meta 请求苹果:让 Quest 头显通过“隔空播放”接收媒体内容

头条要闻

乌武装部队总司令继子公开支持俄罗斯 还想获得俄身份

头条要闻

乌武装部队总司令继子公开支持俄罗斯 还想获得俄身份

体育要闻

重伤,暴瘦30斤!昔日男篮新星再进国家队

娱乐要闻

鹿晗关晓彤聚餐被拍,男方打扮低调

财经要闻

宗庆后在ICU救治 春节前曾因肺癌入院

科技要闻

看懂英伟达财报:业绩炸裂背后的"内忧外患"

汽车要闻

2024款蔚来全系车型售29.8万起 最强NOMI上车

态度原创

手机
艺术
亲子
时尚
游戏

手机要闻

雷军曝世界级大师将亮相小米14 Ultra发布会 网友猜测可能是张艺谋

艺术要闻

看展览|劳尔·卡尼巴诺:具有超现实味道的古巴人文景观

亲子要闻

宝蓝外星人挑战!在游乐园捡到玩具却吸引了外星人,好好玩!

韩国小姐姐的时尚穿搭,参考这24套LOOK,简约、自然提升气质

M站征集《FF7重生》分数预测:最终结果高达92分

无障碍浏览 进入关怀版