AI基础设施里有一笔账很少被摆到台面上:超过80%的扩展(scale-up)网络流量,其实只是内存事务。也就是说,大量带宽和能耗花在了把数据从一处挪到另一处,而不是花在真正的计算上。
![]()
Marvell光子织物业务部高级副总裁兼总经理普里特·维尔克(Preet Virk)在SC26期间接受theCUBE采访时把话说得很直:数据中心今天在效率上还有很大改进空间,他说的效率,指的是被浪费掉的浮点算力——GPU利用率非常低。
低在哪?推理需求超过训练之后,内存瓶颈成了AI基础设施里最昂贵的问题之一。GPU坐在那里等数据,而高带宽内存(HBM)被焊死在处理器旁边,没法共享给别的芯片用。
光子学被当成一条出路。Marvell的做法是把光学和光子内存配在一起,让内存延伸到芯片边缘之外。按维尔克的说法,回报是让企业已经付过钱的数据中心跑出更好的效率。
把HBM搬进单独的箱子
Penguin Solutions先进产品开发副总裁安迪·米尔斯(Andy Mills)介绍了具体形态:MemoryAI Photonic Appliance把HBM挪到一个独立的箱子里,与GPU相隔数十米,中间用Marvell的光子织物连接。每台设备装16TB的HBM和DDR5内存,多个机架的服务器可以共享。
米尔斯提到这类方案要解决的现实问题:得确保大模型不会忘记你十分钟前跟它聊的内容。要做到这一点,需要大容量内存和长token长度。
光学连接同时改写了能耗算式。维尔克说,机架内部铜缆还能用,但要跨过由数千块GPU组成的pod,就得上光学。而扩展网络流量里超过80%是内存事务,一旦内存变成共享池,其中很大一部分数据根本不需要移动。
他给出的对比是:相比基于铜缆的数据搬运,这套方案可以立刻把数据移动的能耗降到每比特四分之一皮焦耳的水平。
智能体把赌注抬高
智能体(agent)带来的变化是token请求量远超人类用户。当推理铺开到更多机架和更多站点,米尔斯认为共享池是应对内存瓶颈的务实答案。
他的逻辑是:分布式反而鼓励共享,因为你不希望重算。KV缓存之所以成功,正是因为它阻止了同一份数据的重复计算;当这份数据能在更广的范围、更多机架之间共享,效率也会跟着上去。
整条思路的核心并不复杂:与其让每块GPU守着自己那份搬不出去的内存空转,不如把内存做成可共享的资源池,再用光学把距离拉长。省下来的不只是时间,还有实打实的电。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.