网易首页 > 网易号 > 正文 申请入驻

AI芯片“功耗悬崖”:大模型催生的冷却技术革命

0
分享至

文 | 半导体产业纵横

AI芯片的功耗和发热量直接影响着企业的成本、风险以及芯片的稳定性和寿命。如果芯片因过热或短路而频繁出现问题,那么AI的训练和推理效果及效率也会受到严重影响。

冷却技术革命,显得十分急需。

AI芯片的功耗危机

统计数据显示,2015年全球数据量约为10EB(艾字节),预计到2025年将飙升至175ZB(泽字节),而到2035年,则可能达到惊人的2432ZB。然而,边缘AI的发展面临两大挑战。首先,需要在性能、功耗和成本之间取得平衡。在提升算力的同时,如何在不将功耗和成本推向合理限度的情况下获得最佳效果,尤其是在电池供电的低功耗设备中?其次,构建强大的生态系统至关重要。如同CPU和GPU的发展一样,一个涵盖工具链、语言、兼容性和易开发性的统一生态系统,对于推动AI技术的普及和规模化应用至关重要。

ChatGPT 和类似的 AI 机器人用来生成类人对话的大型语言模型 (LLM) 只是众多依赖“并行计算”的新型 AI 应用之一。“并行计算”指的是由芯片网络同时执行多项计算或处理的海量计算工作。

人工智能基础设施的核心是GPU(图形处理单元),它擅长处理人工智能所需的专业高性能并行计算工作。与个人电脑中使用的 CPU(中央处理器)相比,这种强大的处理能力也会导致更高的能量输入,从而产生更多的热量输出。

高端GPU 的功率密度约为 CPU 的四倍。这给数据中心规划带来了新的重大问题,因为最初计算的电源现在仅为运行现代 AI 数据中心所需电源的 25%。即使是亚马逊、微软和 Alphabet 用于云计算的尖端超大规模数据中心,也仍然是由 CPU 驱动的。举例来说,Nvidia 目前提供的 A100 AI 芯片每块芯片的恒定功耗约为 400W,而其最新微芯片 H100 的功耗几乎是 A100 的两倍,达到 700W,与微波炉的功耗相似。如果一个拥有平均一百万台服务器的超大规模数据中心用这些类型的 GPU 替换其当前的 CPU 服务器,则所需的功率将增加 4-5 倍(1500MW),相当于一座核电站!

功率密度的提升意味着这些芯片产生的热量也会显著增加。因此,冷却系统也必须更加强大。如此规模的电力和冷却变革将要求未来人工智能驱动的数据中心进行全新的设计。这将导致底层芯片和数据中心基础设施出现巨大的供需失衡。考虑到数据中心建设所需的时间,业内专家预测,我们正处于数据中心十年现代化升级的初期阶段,旨在使其更加智能化。

美国数据中心用电量增长(千兆瓦)

台积电3DVC技术

台积电的3DVC(3D Vapor Chamber,三维均热板)技术是一种针对高性能计算(HPC)和AI芯片的先进散热解决方案,旨在解决先进制程(如3nm/2nm)芯片因集成度提升导致的功耗和发热密度激增问题。

传统均热板是二维平面结构,而台积电的3DVC通过立体化设计,在芯片封装内部直接集成多层微流体通道,利用 相变传热(液体蒸发-冷凝循环)快速导出热量。

三维毛细结构:内部采用多孔金属泡沫或微柱阵列,增强工质(如水/氨)的毛细回流能力。

近结散热(Near-Junction Cooling):直接与芯片的硅中介层(Silicon Interposer)或3D堆叠结构(如SoIC)接触,缩短热传导路径。

3D-VC散热器热管属于一维线性的传热器件,常规VC均热板因为存在蒸发段以及冷凝段,根据设计位置的不同,散热路径上会存在多种分布可能,这使得常规VC均热板成为了二维传热器件,但其散热路径依旧局限在同一个平面内。与一维热传导的热管、二维热传导的VC均热板相比,3D-VC散热器的热传导路径是三维的,立体结构的,非平面的。3D-VC散热器利用VC、热管相结合使得内部腔体连通,通过毛细结构实现工质回流,完成导热。连通的内部腔体加上焊接翅片组成了整个散热模组,使得该散热模组实现了水平以及垂直等多维度的散热。

热管、VC、3DVC对比图多维度的散热路径使得3D-VC散热器在应对高功耗设备热量的时候可以接触更多的发热源提供更多的散热路径。传统散热模组中热管与VC均温板属于分离式设计,由于热阻值随导热距离的增加而增加,散热效果也就不甚理想。3D-VC散热器通过将热管延伸至VC均热板本体中,VC均温板的真空腔体与热管连通后,内部工质连接,3D-VC 散热器与热源直接接触,垂直的热管设计也提高了传热的速度。

3DVC可嵌入台积电的 CoWoS 2.5D/3D封装中,为CPU/GPU/HBM提供一体化散热。台积电在IEEE国际电子器件会议(IEDM)上展示3DVC原型,可将3nm芯片结温降低15°C以上。计划与CoWoS-L封装技术同步应用于AMD、NVIDIA的下一代产品。

冷却方案差异

液冷是高功率下唯一可行的解决方案。

通过一定体积的液体流动传递热量的效率远高于通过相同体积的空气传递热量——水的效率约为空气的3,600倍。这使得通过芯片散热器进行液冷成为一种高效的方法。当芯片面积每平方厘米的散热量超过约50瓦时,通常需要采用液冷。鉴于GB200的面积约为9平方厘米,任何超过450瓦的散热量都表明需要泵送液冷。在“直接芯片”冷却中,液体通过热界面连接到芯片散热器的冷板通道流动。当液体在此过程中不蒸发时,称为“单相”操作,其中介质(通常是水)被泵送通过风扇冷却的热交换器。Flex 旗下公司 JetCool 提供直接芯片液体冷却模块,该模块使用小型流体喷射阵列,精确瞄准处理器上的热点,从而在芯片或设备级别提升高功率电子冷却性能。

热量可以转移到第二个液体回路,该回路可以为建筑物提供热水,并可能为当地消费者提供热水。两相操作通过使液体(通常是氟碳化合物)在吸收热量时蒸发,然后在热交换器处重新凝结,从而提供更好的传热效果。这种方法可以显著提升性能。然而,仍然需要系统风扇来冷却其他组件,尽管某些组件(例如DC/DC 转换器)可以使用其自身的基板集成到液体冷却回路中。这符合“垂直供电”的概念,其中 DC/DC 转换器直接位于处理器下方,以最大限度地减少压降。直接芯片方法的实际限制是芯片与冷却板之间界面的热阻。精确的表面平整度和高性能焊膏是必要的,但在数千瓦级功率下,温差仍然是一个问题。

这一限制似乎即将限制散热,进而影响性能。可以考虑采用浸入式冷却技术。将整个服务器置于一个开放式的介电流体槽中,介电流体通过储液器绕环路泵送至热交换器。同样,为了获得最佳性能,可以采用两相运行。

除了浸入式冷却技术,IBM使用的是嵌入式微通道相变冷却技术。IBM 将介电液直接泵入任意级别芯片堆叠的约 100μm 的微观间隙中,通过介电液从液相沸腾到气相来带走芯片的热量。他们对用此改造后的 IBM Power 7+ 芯片进行测试,结果表明结温降低了 25℃。

为了实现嵌入式冷却,IBM 拆掉了处理器的封装盖子以暴露出裸片,对裸片进行了深度反应离子蚀刻(DRIE),在其背面构建了 120μm 深的冷却通道结构,并将一个玻璃片粘合到被蚀刻的芯片上以形成微通道的顶壁,用粘合剂将冷却剂入口、出口黄铜歧管粘合到玻璃歧管芯片和有机基材上。冷却剂进入模块并通过 24 个入口,在相应的 24 个径向扩展通道中分配流量。

  • 英伟达:硬件级冷却集成(NVLinkC2C技术)

Blackwell的发布,标志着AI硬件领域迈入了一个新纪元,其强大性能将为AI公司提供前所未有的计算支持,助力训练出更复杂、更精准的模型,基于 Blackwell 的 AI 算力将以名为 DGX GB200 的完整服务器形态提供给用户,结合了 36 颗 NVIDIA Grace CPU 和 72 块 Blackwell GPU,而这些超级芯片通过第五代 NVLink 连接成一台超级计算机提高整体计算性能。为了更好地支持GB200超级芯片的应用,英伟达推出了全新的计算集群DGX GB200 SuperPod,这一超级计算集群采用了新型高效液冷机架规模架构,能够在FP4精度下提供惊人的算力和内存容量。通过DGX GB200 SuperPod,英伟达将为各行各业提供强大的AI计算能力,助力AI工业革命的发展,再次展现了其在AI领域的领先地位和创新能力。

具体来讲,NVLINK 是一种专门设计用于连接 NVIDIA GPU 的高速互联技术。它允许 GPU 之间以点对点方式进行通信,绕过传统的PCIe总线,实现了更高的带宽和更低的延迟。NVLINK 可用于连接两个或多个 GPU,以实现高速的数据传输和共享,为多 GPU 系统提供更高的性能和效率。

例如,GB200 NVL72有 18 个 1U 服务器,其提供的 FP8 性能为 720 petaflops,FP4 计算性能为 1440 petaflops,可处理多达 27 万亿个 AI LLM 参数模型。每台服务器里带有两个 GB200 Grace Blackwell Superchip,这些计算节点带有 1.7TB 的 HBM3E 内存、32TB/s 的内存带宽,为应对功耗过于强大问题,NVIDIA选择全部采用液冷 MGX 封装,采取液冷机架级解决方案。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
画面曝光!男子闯入C-130“大力神”运输机内部:剪断电线、砸坏仪表盘、倾倒腐蚀性物质,使美军机报废,被起诉

画面曝光!男子闯入C-130“大力神”运输机内部:剪断电线、砸坏仪表盘、倾倒腐蚀性物质,使美军机报废,被起诉

大风新闻
2026-11-18 14:36:05
刘嘉玲晒照为章泽天庆生,梁朝伟罕见同框,“奶茶妹妹”蕾丝衫优雅

刘嘉玲晒照为章泽天庆生,梁朝伟罕见同框,“奶茶妹妹”蕾丝衫优雅

娱乐嗑学家.
2026-11-18 09:39:43
被丈夫满文军揭发,服刑11个月重获自由,李俐为何出狱7年才离婚

被丈夫满文军揭发,服刑11个月重获自由,李俐为何出狱7年才离婚

梦醉为红颜一笑
2026-11-17 18:57:37
因老婆养花,家里搞得像“灵堂”,江苏一男子发帖求助:咋办啊

因老婆养花,家里搞得像“灵堂”,江苏一男子发帖求助:咋办啊

坠入二次元的海洋
2026-11-19 05:00:42
当着全世界的面!日本给赖清德“当头一棒”,祖国统一众望所归

当着全世界的面!日本给赖清德“当头一棒”,祖国统一众望所归

阿器谈史
2026-10-18 16:00:56
真正的思念,总是会无声无息的

真正的思念,总是会无声无息的

疾跑的小蜗牛
2026-11-18 21:04:36
ESPN NBA专家揭露安东尼·戴维斯,6000万美元交易难题

ESPN NBA专家揭露安东尼·戴维斯,6000万美元交易难题

好火子
2026-11-18 23:29:25
胜任了,以色列宣布了!

胜任了,以色列宣布了!

故事终将光明磊落
2026-11-18 16:01:07
笑死了!文吉儿回应火车换位置全过程,没想到评论区句句都是梗

笑死了!文吉儿回应火车换位置全过程,没想到评论区句句都是梗

喵喵娱乐团
2026-11-18 20:50:49
“挺帅的儿子,让你养自卑了!”一段母子俩买衣服视频惹怒了网友 :你替他选的“好衣服”,养出的是没主见的孩子

“挺帅的儿子,让你养自卑了!”一段母子俩买衣服视频惹怒了网友 :你替他选的“好衣服”,养出的是没主见的孩子

蝴蝶花雨话教育
2026-11-19 06:46:57
渣叔慧眼识珠!上任6场提拔3大新人 悉数坐稳德国主力

渣叔慧眼识珠!上任6场提拔3大新人 悉数坐稳德国主力

球事百科吖
2026-11-18 06:35:06
公交系统终于想通了:与其让一城人抢上车,不如让他们先举手

公交系统终于想通了:与其让一城人抢上车,不如让他们先举手

琴音缭绕回
2026-11-18 12:25:15
宋庆龄一辈子没有生养,1981年法医对她的遗体进行解剖检查,这才揭开了她心底最痛苦的隐情

宋庆龄一辈子没有生养,1981年法医对她的遗体进行解剖检查,这才揭开了她心底最痛苦的隐情

扶苏聊历史
2026-11-12 18:31:31
赌场还是屠宰场?A股正在把散户吃干抹净

赌场还是屠宰场?A股正在把散户吃干抹净

A活着
2026-10-12 17:03:56
6平方档口,却集齐了21个“APEC朋友”的签名!APEC期间,老外纷纷来深圳华强北扫货

6平方档口,却集齐了21个“APEC朋友”的签名!APEC期间,老外纷纷来深圳华强北扫货

每日经济新闻
2026-11-18 20:00:37
全民拒接陌生电话,运营商、快递员、疾控中心为此付了多少成本?

全民拒接陌生电话,运营商、快递员、疾控中心为此付了多少成本?

小鹿姐姐情感说
2026-11-18 03:24:23
大幂幂不是白叫的

大幂幂不是白叫的

草莓解说体育
2026-10-24 07:40:22
疑似用虾滑充当肿瘤?中南大学湘雅二医院被爆出史诗级全AI论文

疑似用虾滑充当肿瘤?中南大学湘雅二医院被爆出史诗级全AI论文

西虹市闲话
2026-11-16 18:42:42
震惊!济南41岁医学硕士、医院科室原主任醉驾获刑,被予以开除处分,有人感慨“不至于一棒子打死”

震惊!济南41岁医学硕士、医院科室原主任醉驾获刑,被予以开除处分,有人感慨“不至于一棒子打死”

火山詩话
2026-11-18 07:25:09
中央机关公务员工资,到手大概多少?

中央机关公务员工资,到手大概多少?

网观天下
2026-11-19 07:31:36
2026-11-19 08:24:49
钛媒体APP incentive-icons
钛媒体APP
独立财经科技媒体
142175文章数 862717关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

欢迎晚宴合影期间 普京与特朗普握手交流

头条要闻

欢迎晚宴合影期间 普京与特朗普握手交流

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

主持人张泉灵被曝猛料,公司成老赖

财经要闻

黄仁勋留下的高分成绩单,能延续吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

数码
游戏
时尚
健康
公开课

数码要闻

1499元 AOC新款27寸显示器上市:2K 120Hz屏、内置双扬

美国议员称让孩子玩《GTA6》的家长不称职

看来看去裤子还是没必要买太多,准备一条黑色长裤,实用又百搭

医生眼里"很伤腰"的椅子,很多人天天坐

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版