网易首页 > 网易号 > 正文 申请入驻

超80%扩展流量只是搬内存,GPU在空转等数据

0
分享至

AI基础设施里有一笔账很少被摆到台面上:超过80%的扩展(scale-up)网络流量,其实只是内存事务。也就是说,大量带宽和能耗花在了把数据从一处挪到另一处,而不是花在真正的计算上。


Marvell光子织物业务部高级副总裁兼总经理普里特·维尔克(Preet Virk)在SC26期间接受theCUBE采访时把话说得很直:数据中心今天在效率上还有很大改进空间,他说的效率,指的是被浪费掉的浮点算力——GPU利用率非常低。

低在哪?推理需求超过训练之后,内存瓶颈成了AI基础设施里最昂贵的问题之一。GPU坐在那里等数据,而高带宽内存(HBM)被焊死在处理器旁边,没法共享给别的芯片用。

光子学被当成一条出路。Marvell的做法是把光学和光子内存配在一起,让内存延伸到芯片边缘之外。按维尔克的说法,回报是让企业已经付过钱的数据中心跑出更好的效率。

把HBM搬进单独的箱子

Penguin Solutions先进产品开发副总裁安迪·米尔斯(Andy Mills)介绍了具体形态:MemoryAI Photonic Appliance把HBM挪到一个独立的箱子里,与GPU相隔数十米,中间用Marvell的光子织物连接。每台设备装16TB的HBM和DDR5内存,多个机架的服务器可以共享。

米尔斯提到这类方案要解决的现实问题:得确保大模型不会忘记你十分钟前跟它聊的内容。要做到这一点,需要大容量内存和长token长度。

光学连接同时改写了能耗算式。维尔克说,机架内部铜缆还能用,但要跨过由数千块GPU组成的pod,就得上光学。而扩展网络流量里超过80%是内存事务,一旦内存变成共享池,其中很大一部分数据根本不需要移动。

他给出的对比是:相比基于铜缆的数据搬运,这套方案可以立刻把数据移动的能耗降到每比特四分之一皮焦耳的水平。

智能体把赌注抬高

智能体(agent)带来的变化是token请求量远超人类用户。当推理铺开到更多机架和更多站点,米尔斯认为共享池是应对内存瓶颈的务实答案。

他的逻辑是:分布式反而鼓励共享,因为你不希望重算。KV缓存之所以成功,正是因为它阻止了同一份数据的重复计算;当这份数据能在更广的范围、更多机架之间共享,效率也会跟着上去。

整条思路的核心并不复杂:与其让每块GPU守着自己那份搬不出去的内存空转,不如把内存做成可共享的资源池,再用光学把距离拉长。省下来的不只是时间,还有实打实的电。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
陈皮配它,倒头就睡!夜里雷打不动,白天精神旺,试过的都说好

陈皮配它,倒头就睡!夜里雷打不动,白天精神旺,试过的都说好

牛锅巴小钒
2026-11-15 19:14:34
曾作为赖昌星送出“礼物”并为海关关长生子的她,案发后赴美隐姓埋名,如今59岁、其29岁儿子却连婚都不敢结,这背后留下怎样的追问?

曾作为赖昌星送出“礼物”并为海关关长生子的她,案发后赴美隐姓埋名,如今59岁、其29岁儿子却连婚都不敢结,这背后留下怎样的追问?

人生录
2026-11-19 08:08:31
湖南女子与丈夫丁克40年,备受宠爱,退休后才知丈夫已三世同堂

湖南女子与丈夫丁克40年,备受宠爱,退休后才知丈夫已三世同堂

晓艾故事汇
2024-12-12 20:17:15
乌军炸断克里米亚大桥,残骸堵死亚速海航道,俄方修桥至少要数周?

乌军炸断克里米亚大桥,残骸堵死亚速海航道,俄方修桥至少要数周?

桂系007
2026-11-19 22:02:42
耗资10亿,一上映就要击败陈思诚夺冠,贺岁档要诞生大黑马?

耗资10亿,一上映就要击败陈思诚夺冠,贺岁档要诞生大黑马?

靠谱电影君
2026-11-19 20:37:31
大家有没有发现?油车加200元油,大致能跑400公里,新能源电车花200元电费,可能能跑2000公里。用车成本差这么大,为什么仍有人买油车?

大家有没有发现?油车加200元油,大致能跑400公里,新能源电车花200元电费,可能能跑2000公里。用车成本差这么大,为什么仍有人买油车?

扶苏聊历史
2026-09-22 16:09:20
刘畊宏直播间凉了,“老板娘”的身材戳破了多少人的减肥梦?

刘畊宏直播间凉了,“老板娘”的身材戳破了多少人的减肥梦?

看尽落尘花q
2026-08-23 19:28:46
快被父母的有钱程度震惊!网友:我的父母什么时候告诉我是富二代

快被父母的有钱程度震惊!网友:我的父母什么时候告诉我是富二代

另子维爱读史
2026-11-13 23:00:23
CBA杯赛爆大冷门,广东队成为笑话,辽宁套路深,北京冠军稳了

CBA杯赛爆大冷门,广东队成为笑话,辽宁套路深,北京冠军稳了

宗介说体育
2026-11-19 15:24:31
月销最少仅4台,66亿巨债!扬言造出“中国版宾利”的巨头倒下了

月销最少仅4台,66亿巨债!扬言造出“中国版宾利”的巨头倒下了

云霄纪史观
2026-10-28 04:59:51
陆毅女儿出道惹争议!长相才华太普通,网友:精修图都记不住脸

陆毅女儿出道惹争议!长相才华太普通,网友:精修图都记不住脸

静若梨花
2026-11-19 21:49:56
明年将会是中华人民共和国全党、全军、全国各族人民重要的一年!

明年将会是中华人民共和国全党、全军、全国各族人民重要的一年!

浩渺青史
2026-11-16 02:43:46
今天起,爱奇艺、腾讯、优酷又3部悬疑剧将播!开播要火,追哪部

今天起,爱奇艺、腾讯、优酷又3部悬疑剧将播!开播要火,追哪部

陈意小可爱
2026-11-19 04:17:58
特朗普:美国不支持“台独”

特朗普:美国不支持“台独”

看看新闻Knews
2026-11-19 17:34:44
百年难遇!中美俄共同警告非洲卢旺达,作为中国徒弟实在太能打了

百年难遇!中美俄共同警告非洲卢旺达,作为中国徒弟实在太能打了

云上乌托邦
2026-11-11 13:41:46
人最大的福报:父母年过七旬,尚在人间!过了72岁,请立刻停止

人最大的福报:父母年过七旬,尚在人间!过了72岁,请立刻停止

风起见你
2026-11-01 01:12:08
疯了!美国又猛推华为一把

疯了!美国又猛推华为一把

华商韬略毕亚军
2026-11-19 10:13:20
全球公认最清廉的国家之一,靠的不是每天查干部,而是一条简单却杀伤力极强的法规:财产可以有,但来路必须讲得明!

全球公认最清廉的国家之一,靠的不是每天查干部,而是一条简单却杀伤力极强的法规:财产可以有,但来路必须讲得明!

扶苏聊历史
2026-11-18 17:18:26
2026酱酒跳水榜:当年炒得越狠,如今摔得越响

2026酱酒跳水榜:当年炒得越狠,如今摔得越响

牛锅巴小钒
2026-11-19 03:20:33
50载笑染申城,上海人再熟悉不过的王汝刚老师,从艺50周年研讨会在沪举行

50载笑染申城,上海人再熟悉不过的王汝刚老师,从艺50周年研讨会在沪举行

新民周刊
2026-11-18 18:16:57
2026-11-19 23:35:00
码上闲叙
码上闲叙
有态度网友ytd
285文章数 106关注度
往期回顾 全部

科技要闻

提前三个月加薪!英伟达全员会稳军心

头条要闻

马斯克公开表示:黄仁勋像球队巅峰期的乔丹 没人可替代

头条要闻

马斯克公开表示:黄仁勋像球队巅峰期的乔丹 没人可替代

体育要闻

文班亚马也防不住这"巨兽" 无奈吐槽:悲哀

娱乐要闻

后会友期 文吉儿公然怼谈话老师陈晓楠

财经要闻

Anthropic的算力赌局

汽车要闻

方程豹钛9限时27.39万起 方向盘可折叠 方盒子也能当家用旗舰

态度原创

手机
家居
艺术
数码
公开课

手机要闻

华为鸿蒙星河互联官宣支持流转iPhone来电,适配Mate 90系列、XT 2非凡大师机型

家居要闻

2026建博会(广州) 公装联探展交流活动

艺术要闻

12.7亿!梵高《盛开的栗树》,刷新个人拍卖最高纪录!

数码要闻

消息称OLED iMac可能被砍,苹果正重新评估Mac的OLED计划

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版