AI基础设施的采购逻辑正在换轨。Positron AI销售与业务发展负责人卡梅伦·麦卡斯基尔(Cameron McCaskill)给出了一组对比:跑在AI基础设施上的负载里,约三分之二是推理,三分之一是训练;而在2023年,这个比例大约是85%训练、15%推理。
![]()
他在SC26期间接受theCUBE Research的丽贝卡·奈特与约翰·弗里尔采访时说:“我们现在处在一个节点上,这些AI基础设施上运行的工作负载大约三分之二是推理,三分之一是训练。而在2023年,大概是85%训练、15%推理。”他补充,这解释了为什么推理正在驱动企业建设基础设施的经济决策。
支出重心随之从巨型训练集群转向规模更小、建设更快的站点。模块化数据中心因此成为推理负载的天然落脚点,电力、冷却和内存供给对“token在哪里生成”的影响,已经不亚于芯片本身的性能。
绕开高带宽内存的选择
以推理为先的芯片厂商想接住这次转向。Positron AI在9月以50亿美元估值完成8.75亿美元融资,其推理设备围绕通用内存构建,而不是稀缺的高带宽内存。麦卡斯基尔说,业内其他公司基本都在用HBM,供应非常有限、价格非常昂贵,“我们选择了通用内存”。
这一选择也让功耗低到可以用风冷机房承接。据他介绍,单台Positron服务器功耗约4500瓦,一整机架的Titan服务器控制在40千瓦以内。这样的占地规模,适合那些能找到几兆瓦廉价电力、又不必跨过重重监管门槛的站点。
产品节奏上,Positron第一代Atlas服务器跑在可编程芯片上,公司计划明年初为Titan服务器流片自研芯片。麦卡斯基尔提到,甲骨文(Oracle)本季度将在其云中上线约340台Atlas服务器;另有一家neocloud服务商已签约使用Atlas,并对Titan作出承诺。
90到120天跑出可售token
对把新增算力变现的推理提供商来说,部署速度是吸引力的重要部分。麦卡斯基尔说,现在有一类公司在增多并来找他们要产品,就是模块化数据中心——规模可能是半兆瓦、1兆瓦或2.5兆瓦,部署速度非常快。
“很多推理玩家的目标是,我要在90到120天内,从拿到土地和电力走到可变现的token。”他说,这类模块化数据中心配上他们的技术,可以成为一套不错的方案。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.