英伟达H200带宽狂飙！HBM3e/HBM3时代即将来临

当地时间11月13日，英伟达（NVIDIA）宣布推出NVIDIA HGX™ H200，旨为世界领先的AI计算平台提供强大动力，将于2024年第二季度开始在全球系统制造商和云服务提供商处提供。

H200输出速度约H100的两倍

据介绍，NVIDIA H200是基于NVIDIA Hopper™架构，配备具有高级内存的NVIDIA H200 Tensor Core GPU，可处理海量数据，用于生成式AI和高性能计算工作负载。

图片来源：英伟达

与H100相比，NVIDIA H200对Llama2模型的推理速度几乎翻倍。据悉，基于Meta的Llama 2大模型的测试表明，H200的输出速度大约是H100的两倍。

英伟达表示，H200还能与已支援H100的系统相容。也就是说，已经使用先前模型进行训练的AI公司将无需更改其服务器系统或软件即可使用新版本。英伟达服务器制造伙伴包括永擎、华硕、戴尔、Eviden、技嘉、HPE、鸿佰、联想、云达、美超微、纬创资通以及纬颖科技，均可以使用H200更新现有系统，而亚马逊、Google、微软、甲骨文等将成为首批采用H200的云端服务商。

不过，英伟达暂时并未透露该产品价格。据国外媒体《CNBC》报道，英伟达上一代H100价格估计为每个2.5万美元至4万美元。英伟达发言人Kristin Uchiyama透露称，最终定价将由NVIDIA制造伙伴制定。

随着ChatGPT等推动AI应用发展，NVIDIA芯片被视为高效处理大量资料和训练大型语言模型的关键芯片，当下市场供不应求，产量问题成为业界关注的重点。

据《金融时报》8月报道指出，NVIDIA计划在2024年将H100产量成长三倍，产量目标将从2023年约50万个增加至2024年200万个。

关于H200的推出是否会影响上一代H100的生产，Kristin Uchiyama指出，未来全年的整体供应量还将有所增加。

HBM3e/HBM3时代将至

值得一提的是，此次英伟达发布的H200是首次采用HBM3e存储器规格，使GPU存储器带宽从H100的每秒3.35TB提高至4.8TB，提高1.4倍，存储器总容量也从H100的80GB提高至141GB，容量提高1.8倍。

此外，据媒体引述业内人士称，三星电子计划从明年1月开始向英伟达供应高带宽内存HBM3，HBM3将被应用在英伟达的图形处理单元（GPU）上。

“整合更快、更广泛的HBM存储器有助于对运算要求较高的任务提升性能，包括生成式AI模型和高性能运算应用程式，同时优化GPU使用率和效率”英伟达高性能运算产品副总裁Ian Buck表示。

近年来，AI服务器需求热潮带动了AI加速芯片需求，其中高频宽存储器——HBM，成为加速芯片上的关键性DRAM产品。以规格而言，据TrendForce集邦咨询研究指出，当前HBM市场主流为HBM2e，包含NVIDIA A100/A800、AMD MI200以及多数CSPs自研加速芯片皆以此规格设计。同时，为顺应AI加速器芯片需求演进，各原厂计划于2024年推出新产品HBM3e，预期HBM3与HBM3e将成为明年市场主流。

近期，三星、美光等存储大厂正在不断加快扩产步伐。据此前媒体报道，为了扩大HBM产能，三星已收购三星显示（Samsung Display）韩国天安厂区内部分建筑及设备，用于HBM生产。三星计划在天安厂建立一条新封装线，用于大规模生产HBM，该公司已花费105亿韩元购买上述建筑和设备等，预计追加投资7000亿-1万亿韩元。

而美光科技位于台湾地区的台中四厂于11月初正式启用。美光表示，台中四厂将整合先进探测与封装测试功能，量产HBM3E及其他产品，从而满足人工智能、数据中心、边缘计算及云端等各类应用日益增长的需求。该公司计划于2024年初开始大量出货HBM3E。

从HBM不同世代需求比重来看，据TrendForce集邦咨询表示，2023年主流需求自HBM2e转往HBM3，需求比重分别预估约是50%及39%。随着使用HBM3的加速芯片陆续放量，2024年市场需求将大幅转往HBM3，而2024年将直接超越HBM2e，比重预估达60%，且受惠于其更高的平均销售单价（ASP），将带动明年HBM营收显著成长。

TrendForce集邦咨询此前预估，由于HBM3平均销售单价远高于HBM2e与HBM2，故将助力原厂HBM领域营收，可望进一步带动2024年整体HBM营收至89亿美元，年增127%。