数据中心建不过来,推理芯片开始往旧机房里钻。电力、资金和审批的延迟,把新增算力容量推得越来越远,芯片厂商只能去现有设施里找地方。
![]()
SambaNova Systems 核心产品副总裁 Anton McGonnell 在 SC26 大会期间接受 theCUBE 采访时说,很多老旧的电信站点和托管(colo)站点有空间也有电,但大多数接不了今天这种高密度、液冷的 GPU 机架,除非做昂贵的改造。这个缺口,正好给风冷推理系统留了门。
他把行业困境归结为几件事叠加:数据中心建设的速度本身受物理规律限制,资金获取有门槛,立法层面的障碍越来越多,美国尤其明显。
SN50 盯的是解码阶段
SambaNova 的第五代芯片 SN50 瞄准推理中的解码阶段,也就是输出 token 生成、数据搬运成为瓶颈的那一段。McGonnell 说,它的机架保持风冷,重量也足够轻,能塞进现有设施。
相比之下,较新的 GPU 机架可能要加固地板,单机架功耗达到 120 到 250 千瓦。他提到,光是供电和冷却设备,进入数据中心的交付周期就要 18 到 24 个月,还没算上建设成本。
SambaNova 在 7 月被投资者估值 110 亿美元。它的做法是把解码芯片和负责预填充(prefill)的伙伴搭配起来,预填充是推理中算力吃重的前一阶段。
在 SC26 上,它演示了一套风冷的异构组合:用英特尔的 D 系列 GPU 做预填充,配自家的 SambaRack SN50 做解码。
McGonnell 评价英特尔这颗芯片时说,它在推理预填充阶段的性价比要好得多,代价是牺牲了 HBM——预填充是算力受限的问题,用不上 HBM。
新建产能被拖住,旧站点的空间和电力却摆在那里。风冷推理机架能不能吃下这块存量,取决于改造账本算不算得过来。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.