网易首页 > 网易号 > 正文 申请入驻

AI芯片“功耗悬崖”:大模型催生的冷却技术革命

0
分享至

文 | 半导体产业纵横

AI芯片的功耗和发热量直接影响着企业的成本、风险以及芯片的稳定性和寿命。如果芯片因过热或短路而频繁出现问题,那么AI的训练和推理效果及效率也会受到严重影响。

冷却技术革命,显得十分急需。

AI芯片的功耗危机

统计数据显示,2015年全球数据量约为10EB(艾字节),预计到2025年将飙升至175ZB(泽字节),而到2035年,则可能达到惊人的2432ZB。然而,边缘AI的发展面临两大挑战。首先,需要在性能、功耗和成本之间取得平衡。在提升算力的同时,如何在不将功耗和成本推向合理限度的情况下获得最佳效果,尤其是在电池供电的低功耗设备中?其次,构建强大的生态系统至关重要。如同CPU和GPU的发展一样,一个涵盖工具链、语言、兼容性和易开发性的统一生态系统,对于推动AI技术的普及和规模化应用至关重要。

ChatGPT 和类似的 AI 机器人用来生成类人对话的大型语言模型 (LLM) 只是众多依赖“并行计算”的新型 AI 应用之一。“并行计算”指的是由芯片网络同时执行多项计算或处理的海量计算工作。

人工智能基础设施的核心是GPU(图形处理单元),它擅长处理人工智能所需的专业高性能并行计算工作。与个人电脑中使用的 CPU(中央处理器)相比,这种强大的处理能力也会导致更高的能量输入,从而产生更多的热量输出。

高端GPU 的功率密度约为 CPU 的四倍。这给数据中心规划带来了新的重大问题,因为最初计算的电源现在仅为运行现代 AI 数据中心所需电源的 25%。即使是亚马逊、微软和 Alphabet 用于云计算的尖端超大规模数据中心,也仍然是由 CPU 驱动的。举例来说,Nvidia 目前提供的 A100 AI 芯片每块芯片的恒定功耗约为 400W,而其最新微芯片 H100 的功耗几乎是 A100 的两倍,达到 700W,与微波炉的功耗相似。如果一个拥有平均一百万台服务器的超大规模数据中心用这些类型的 GPU 替换其当前的 CPU 服务器,则所需的功率将增加 4-5 倍(1500MW),相当于一座核电站!

功率密度的提升意味着这些芯片产生的热量也会显著增加。因此,冷却系统也必须更加强大。如此规模的电力和冷却变革将要求未来人工智能驱动的数据中心进行全新的设计。这将导致底层芯片和数据中心基础设施出现巨大的供需失衡。考虑到数据中心建设所需的时间,业内专家预测,我们正处于数据中心十年现代化升级的初期阶段,旨在使其更加智能化。

美国数据中心用电量增长(千兆瓦)

台积电3DVC技术

台积电的3DVC(3D Vapor Chamber,三维均热板)技术是一种针对高性能计算(HPC)和AI芯片的先进散热解决方案,旨在解决先进制程(如3nm/2nm)芯片因集成度提升导致的功耗和发热密度激增问题。

传统均热板是二维平面结构,而台积电的3DVC通过立体化设计,在芯片封装内部直接集成多层微流体通道,利用 相变传热(液体蒸发-冷凝循环)快速导出热量。

三维毛细结构:内部采用多孔金属泡沫或微柱阵列,增强工质(如水/氨)的毛细回流能力。

近结散热(Near-Junction Cooling):直接与芯片的硅中介层(Silicon Interposer)或3D堆叠结构(如SoIC)接触,缩短热传导路径。

3D-VC散热器热管属于一维线性的传热器件,常规VC均热板因为存在蒸发段以及冷凝段,根据设计位置的不同,散热路径上会存在多种分布可能,这使得常规VC均热板成为了二维传热器件,但其散热路径依旧局限在同一个平面内。与一维热传导的热管、二维热传导的VC均热板相比,3D-VC散热器的热传导路径是三维的,立体结构的,非平面的。3D-VC散热器利用VC、热管相结合使得内部腔体连通,通过毛细结构实现工质回流,完成导热。连通的内部腔体加上焊接翅片组成了整个散热模组,使得该散热模组实现了水平以及垂直等多维度的散热。

热管、VC、3DVC对比图多维度的散热路径使得3D-VC散热器在应对高功耗设备热量的时候可以接触更多的发热源提供更多的散热路径。传统散热模组中热管与VC均温板属于分离式设计,由于热阻值随导热距离的增加而增加,散热效果也就不甚理想。3D-VC散热器通过将热管延伸至VC均热板本体中,VC均温板的真空腔体与热管连通后,内部工质连接,3D-VC 散热器与热源直接接触,垂直的热管设计也提高了传热的速度。

3DVC可嵌入台积电的 CoWoS 2.5D/3D封装中,为CPU/GPU/HBM提供一体化散热。台积电在IEEE国际电子器件会议(IEDM)上展示3DVC原型,可将3nm芯片结温降低15°C以上。计划与CoWoS-L封装技术同步应用于AMD、NVIDIA的下一代产品。

冷却方案差异

液冷是高功率下唯一可行的解决方案。

通过一定体积的液体流动传递热量的效率远高于通过相同体积的空气传递热量——水的效率约为空气的3,600倍。这使得通过芯片散热器进行液冷成为一种高效的方法。当芯片面积每平方厘米的散热量超过约50瓦时,通常需要采用液冷。鉴于GB200的面积约为9平方厘米,任何超过450瓦的散热量都表明需要泵送液冷。在“直接芯片”冷却中,液体通过热界面连接到芯片散热器的冷板通道流动。当液体在此过程中不蒸发时,称为“单相”操作,其中介质(通常是水)被泵送通过风扇冷却的热交换器。Flex 旗下公司 JetCool 提供直接芯片液体冷却模块,该模块使用小型流体喷射阵列,精确瞄准处理器上的热点,从而在芯片或设备级别提升高功率电子冷却性能。

热量可以转移到第二个液体回路,该回路可以为建筑物提供热水,并可能为当地消费者提供热水。两相操作通过使液体(通常是氟碳化合物)在吸收热量时蒸发,然后在热交换器处重新凝结,从而提供更好的传热效果。这种方法可以显著提升性能。然而,仍然需要系统风扇来冷却其他组件,尽管某些组件(例如DC/DC 转换器)可以使用其自身的基板集成到液体冷却回路中。这符合“垂直供电”的概念,其中 DC/DC 转换器直接位于处理器下方,以最大限度地减少压降。直接芯片方法的实际限制是芯片与冷却板之间界面的热阻。精确的表面平整度和高性能焊膏是必要的,但在数千瓦级功率下,温差仍然是一个问题。

这一限制似乎即将限制散热,进而影响性能。可以考虑采用浸入式冷却技术。将整个服务器置于一个开放式的介电流体槽中,介电流体通过储液器绕环路泵送至热交换器。同样,为了获得最佳性能,可以采用两相运行。

除了浸入式冷却技术,IBM使用的是嵌入式微通道相变冷却技术。IBM 将介电液直接泵入任意级别芯片堆叠的约 100μm 的微观间隙中,通过介电液从液相沸腾到气相来带走芯片的热量。他们对用此改造后的 IBM Power 7+ 芯片进行测试,结果表明结温降低了 25℃。

为了实现嵌入式冷却,IBM 拆掉了处理器的封装盖子以暴露出裸片,对裸片进行了深度反应离子蚀刻(DRIE),在其背面构建了 120μm 深的冷却通道结构,并将一个玻璃片粘合到被蚀刻的芯片上以形成微通道的顶壁,用粘合剂将冷却剂入口、出口黄铜歧管粘合到玻璃歧管芯片和有机基材上。冷却剂进入模块并通过 24 个入口,在相应的 24 个径向扩展通道中分配流量。

  • 英伟达:硬件级冷却集成(NVLinkC2C技术)

Blackwell的发布,标志着AI硬件领域迈入了一个新纪元,其强大性能将为AI公司提供前所未有的计算支持,助力训练出更复杂、更精准的模型,基于 Blackwell 的 AI 算力将以名为 DGX GB200 的完整服务器形态提供给用户,结合了 36 颗 NVIDIA Grace CPU 和 72 块 Blackwell GPU,而这些超级芯片通过第五代 NVLink 连接成一台超级计算机提高整体计算性能。为了更好地支持GB200超级芯片的应用,英伟达推出了全新的计算集群DGX GB200 SuperPod,这一超级计算集群采用了新型高效液冷机架规模架构,能够在FP4精度下提供惊人的算力和内存容量。通过DGX GB200 SuperPod,英伟达将为各行各业提供强大的AI计算能力,助力AI工业革命的发展,再次展现了其在AI领域的领先地位和创新能力。

具体来讲,NVLINK 是一种专门设计用于连接 NVIDIA GPU 的高速互联技术。它允许 GPU 之间以点对点方式进行通信,绕过传统的PCIe总线,实现了更高的带宽和更低的延迟。NVLINK 可用于连接两个或多个 GPU,以实现高速的数据传输和共享,为多 GPU 系统提供更高的性能和效率。

例如,GB200 NVL72有 18 个 1U 服务器,其提供的 FP8 性能为 720 petaflops,FP4 计算性能为 1440 petaflops,可处理多达 27 万亿个 AI LLM 参数模型。每台服务器里带有两个 GB200 Grace Blackwell Superchip,这些计算节点带有 1.7TB 的 HBM3E 内存、32TB/s 的内存带宽,为应对功耗过于强大问题,NVIDIA选择全部采用液冷 MGX 封装,采取液冷机架级解决方案。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
作家陈岚点评大S之死,如果汪小菲带大S去旅游,估计连灰都没有了

作家陈岚点评大S之死,如果汪小菲带大S去旅游,估计连灰都没有了

小人物看尽人间百态
2025-02-09 09:12:11
澳洲地产大亨之子重病赴华求治,老中医开口一句令男子彻底傻眼

澳洲地产大亨之子重病赴华求治,老中医开口一句令男子彻底傻眼

红豆讲堂
2025-10-14 09:30:03
日军投降前一夜有多疯狂?一个日本女军医:日军用刀劈开了一个人

日军投降前一夜有多疯狂?一个日本女军医:日军用刀劈开了一个人

小豫讲故事
2026-10-24 06:00:12
放松限韩令的风声一出,很快就有影响了

放松限韩令的风声一出,很快就有影响了

清晖有墨
2026-11-19 20:30:22
一个害国害民的历史罪人,老百姓还把他当成英雄崇拜

一个害国害民的历史罪人,老百姓还把他当成英雄崇拜

小豫讲故事
2026-09-17 06:00:15
阿媒:梅西随迈阿密出战八分之一决赛,三场两胜制争第五冠

阿媒:梅西随迈阿密出战八分之一决赛,三场两胜制争第五冠

懂球帝
2026-11-20 20:25:24
中国第一个被撤销的省份,存在仅3年就消失,如今省会默默无闻!

中国第一个被撤销的省份,存在仅3年就消失,如今省会默默无闻!

文史达观
2025-11-23 12:46:46
浙江人有6个执念,外地人根本看不懂,第三条颠覆认知!

浙江人有6个执念,外地人根本看不懂,第三条颠覆认知!

林子说事
2026-11-21 00:37:44
APEC深圳接机暗藏深意 中越分层阵容尽显邻里外交格局温度

APEC深圳接机暗藏深意 中越分层阵容尽显邻里外交格局温度

小陆搞笑日常
2026-11-20 01:21:43
郭富城被陈百祥点名叫不回来,2022年却是TVB台庆压轴,谁对谁错

郭富城被陈百祥点名叫不回来,2022年却是TVB台庆压轴,谁对谁错

情感大头说说
2026-11-21 00:06:06
杭州女子驾车过高架遭风筝线“割顶”,车损达3万余元,最新:肇事者已找到,车主放弃索赔,“放风筝时务必远离城市道路和人员密集区域”

杭州女子驾车过高架遭风筝线“割顶”,车损达3万余元,最新:肇事者已找到,车主放弃索赔,“放风筝时务必远离城市道路和人员密集区域”

极目新闻
2026-11-19 21:31:44
20岁农村男子做尽坏事,只对六旬老太下手,被捕后道:还是老人好

20岁农村男子做尽坏事,只对六旬老太下手,被捕后道:还是老人好

林林故事揭秘
2025-04-27 15:27:28
高市早苗参加APEC晚宴!穿红衣黑裙很知性,却是抵达机场时的衣服

高市早苗参加APEC晚宴!穿红衣黑裙很知性,却是抵达机场时的衣服

八八尚语
2026-11-19 10:39:30
“年轻人往里面一排队,周围都是异样的眼神”

“年轻人往里面一排队,周围都是异样的眼神”

中国新闻周刊
2026-11-19 23:55:05
菲利佩:摩纳哥比任何球员都重要,我需要让巴洛贡愿意在这踢

菲利佩:摩纳哥比任何球员都重要,我需要让巴洛贡愿意在这踢

懂球帝
2026-11-21 01:57:29
“花坛藏尸案”其中一名被告人提起上诉,此前被判处死刑

“花坛藏尸案”其中一名被告人提起上诉,此前被判处死刑

新京报
2026-11-20 22:15:23
为什么卫生纸非要压花?是为了卖贵点吗?原因你绝对想不到

为什么卫生纸非要压花?是为了卖贵点吗?原因你绝对想不到

春之寞陌
2026-11-18 22:08:39
2026反腐风暴升级!中纪委明确:14个领域+3类关键人群,一个不留

2026反腐风暴升级!中纪委明确:14个领域+3类关键人群,一个不留

职场资深秘书
2026-11-20 10:14:04
跟子女相处:讲道理是下策,闭嘴是中策,上策你绝对想不到

跟子女相处:讲道理是下策,闭嘴是中策,上策你绝对想不到

小影的娱乐
2026-11-08 05:47:03
惊掉下巴!广东女子把DeepSeek当作“老公”,限额后热线扬言自残,多方应急人员上门,当事人发帖直呼社死

惊掉下巴!广东女子把DeepSeek当作“老公”,限额后热线扬言自残,多方应急人员上门,当事人发帖直呼社死

火山詩话
2026-11-19 12:42:19
2026-11-21 02:47:00
钛媒体APP incentive-icons
钛媒体APP
独立财经科技媒体
142275文章数 862718关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

艺术
家居
旅游
游戏
军事航空

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

家居要闻

2026建博会(广州) 公装联探展交流活动

旅游要闻

青岛冬日赏鸥地图|沿着海岸线,赴一场海鸥之约

PC Gamer试玩GTA6百小时:双主角出色但任务重复

军事要闻

美军在中东再成三航母之势

无障碍浏览 进入关怀版