网易首页 > 网易号 > 正文 申请入驻

推理占AI负载三分之二,2023年还是85%训练

0
分享至

AI基础设施的采购逻辑正在换轨。Positron AI销售与业务发展负责人卡梅伦·麦卡斯基尔(Cameron McCaskill)给出了一组对比:跑在AI基础设施上的负载里,约三分之二是推理,三分之一是训练;而在2023年,这个比例大约是85%训练、15%推理。


他在SC26期间接受theCUBE Research的丽贝卡·奈特与约翰·弗里尔采访时说:“我们现在处在一个节点上,这些AI基础设施上运行的工作负载大约三分之二是推理,三分之一是训练。而在2023年,大概是85%训练、15%推理。”他补充,这解释了为什么推理正在驱动企业建设基础设施的经济决策。

支出重心随之从巨型训练集群转向规模更小、建设更快的站点。模块化数据中心因此成为推理负载的天然落脚点,电力、冷却和内存供给对“token在哪里生成”的影响,已经不亚于芯片本身的性能。

绕开高带宽内存的选择

以推理为先的芯片厂商想接住这次转向。Positron AI在9月以50亿美元估值完成8.75亿美元融资,其推理设备围绕通用内存构建,而不是稀缺的高带宽内存。麦卡斯基尔说,业内其他公司基本都在用HBM,供应非常有限、价格非常昂贵,“我们选择了通用内存”。

这一选择也让功耗低到可以用风冷机房承接。据他介绍,单台Positron服务器功耗约4500瓦,一整机架的Titan服务器控制在40千瓦以内。这样的占地规模,适合那些能找到几兆瓦廉价电力、又不必跨过重重监管门槛的站点。

产品节奏上,Positron第一代Atlas服务器跑在可编程芯片上,公司计划明年初为Titan服务器流片自研芯片。麦卡斯基尔提到,甲骨文(Oracle)本季度将在其云中上线约340台Atlas服务器;另有一家neocloud服务商已签约使用Atlas,并对Titan作出承诺。

90到120天跑出可售token

对把新增算力变现的推理提供商来说,部署速度是吸引力的重要部分。麦卡斯基尔说,现在有一类公司在增多并来找他们要产品,就是模块化数据中心——规模可能是半兆瓦、1兆瓦或2.5兆瓦,部署速度非常快。

“很多推理玩家的目标是,我要在90到120天内,从拿到土地和电力走到可变现的token。”他说,这类模块化数据中心配上他们的技术,可以成为一套不错的方案。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
18岁男孩高考后去上海跑外卖,干了一个月跑了338单,一算工资倒欠站点114元

18岁男孩高考后去上海跑外卖,干了一个月跑了338单,一算工资倒欠站点114元

一丝不苟的法律人
2026-11-22 13:20:47
9连胜!头号黑马冲到英超第4:连续3个3-0打爆3大豪强 创127年历史

9连胜!头号黑马冲到英超第4:连续3个3-0打爆3大豪强 创127年历史

风过乡
2026-11-22 08:12:54
拟注入“利润奶牛”但连吃两个跌停,中国稀土吞下中稀凉山,同业竞争承诺延期

拟注入“利润奶牛”但连吃两个跌停,中国稀土吞下中稀凉山,同业竞争承诺延期

华夏时报
2026-11-21 19:35:10
高市制造了“舷梯门”

高市制造了“舷梯门”

天真无牙
2026-11-21 14:52:51
每天吃一个苹果错了?研究发现:上了年纪,苹果应该这样吃

每天吃一个苹果错了?研究发现:上了年纪,苹果应该这样吃

医学科普汇
2026-11-22 08:30:33
46岁方力申官宣二胎得子凑好字,妻子一年抱俩引争议,过往太戳人

46岁方力申官宣二胎得子凑好字,妻子一年抱俩引争议,过往太戳人

洲洲影视娱评
2026-11-22 10:20:20
大幂幂不是白叫的

大幂幂不是白叫的

草莓解说体育
2026-10-24 07:40:22
“爸爸我爱你”为什么也会敏感违规?

“爸爸我爱你”为什么也会敏感违规?

历史总在押韵
2026-11-20 18:32:28
太惨了!十多位财经博主的年度收益浮出水面,有人亏光本金93.9%,仅三名博主盈利

太惨了!十多位财经博主的年度收益浮出水面,有人亏光本金93.9%,仅三名博主盈利

火山詩话
2026-11-22 05:03:22
50分空砍!恩不出界,太离谱了!

50分空砍!恩不出界,太离谱了!

篮球实录
2026-11-22 16:20:56
“寒门出贵子越来越难了”!中国政法、上海交大等高校不向研究生提供住宿,租房压力引发热议

“寒门出贵子越来越难了”!中国政法、上海交大等高校不向研究生提供住宿,租房压力引发热议

火山詩话
2026-11-21 20:49:37
她是最干净女演员,被军官苦追5年才嫁,如今和女儿被宠如宝

她是最干净女演员,被军官苦追5年才嫁,如今和女儿被宠如宝

娱深有瓜
2026-11-22 14:05:10
最新!全军采购资格暂停名单:八马茶业、紫光软件、中国交通建设集团、三亚凤凰国际机场

最新!全军采购资格暂停名单:八马茶业、紫光软件、中国交通建设集团、三亚凤凰国际机场

财通社
2026-11-22 16:41:17
突发!黄仁勋离开英伟达后,台积电“操作”惊呆所有人

突发!黄仁勋离开英伟达后,台积电“操作”惊呆所有人

大厂财经社
2026-11-22 11:23:39
出大事了!澳洲银行,突然大量关停中国人账户!

出大事了!澳洲银行,突然大量关停中国人账户!

澳洲财经见闻
2026-11-21 15:10:02
伺候宋美龄大半辈子的老佣人,临死之际才肯吐露:她能活到106岁,凭借的哪里是那些补品,真正见效莫过于这件事!

伺候宋美龄大半辈子的老佣人,临死之际才肯吐露:她能活到106岁,凭借的哪里是那些补品,真正见效莫过于这件事!

扶苏聊历史
2026-11-21 17:42:04
大瓜!币圈人士徐可指控孙宇晨“恐艾”,和感染HIV女网红有关,孙宇晨回应,有网友提醒景甜

大瓜!币圈人士徐可指控孙宇晨“恐艾”,和感染HIV女网红有关,孙宇晨回应,有网友提醒景甜

火山詩话
2026-11-22 09:07:07
年会中了四十万的奔驰E300L,直接提车还是税后折现三十五万,这道题摆在普通中年夫妻面前,往往会吵出两种委屈

年会中了四十万的奔驰E300L,直接提车还是税后折现三十五万,这道题摆在普通中年夫妻面前,往往会吵出两种委屈

可读
2026-11-21 00:13:14
“北长城”颜妮低调完婚,沈阳副市长道贺,郎平送视频祝福

“北长城”颜妮低调完婚,沈阳副市长道贺,郎平送视频祝福

排球大视界
2026-11-22 13:47:44
云彩太阳都一模一样!特斯拉FSD V15实景视图刷屏 车主集体喊疯狂

云彩太阳都一模一样!特斯拉FSD V15实景视图刷屏 车主集体喊疯狂

快科技
2026-11-22 10:00:08
2026-11-22 17:00:49
字节漫游指南
字节漫游指南
有态度网友ytd
203文章数 135关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

教育
房产
旅游
健康
公开课

教育要闻

曾经“感动中国”的庞众望完成清华大学博士论文答辩,本人发声:将继续潜心钻研,在科研探索的道路上不断前行

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

旅游要闻

喀什旅游的游客因清廷中唯一的维吾尔族妃子的故事而奔赴这里参观

医生眼里"很伤腰"的椅子,很多人天天坐

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版