![]()
谷歌,也开始进军废品回收行业了。
![]()
各位请坐。
前两天,Google供应链高管Nikhil Cherian在中国台北参加SEMICON,聊着聊着,提到说他们正在拆退役服务器里的DDR4,再做专门的转接卡,把这些旧内存接进新一代AI服务器。
![]()
怎么,你谷歌也开始当垃圾佬了?
以前总说科技大厂家底厚,买显卡买内存不眨眼的(这些东西价格能到如今这个地步拜他们所赐),,,现在倒好,白菜看来是没了,谷歌已经蹲在机房里翻纸箱了。。。环保部门也很欣慰,谷歌的工程师大概也应该去图拉丁吧进修一下了。
![]()
当然,谷歌开始捡垃圾,并不是因为环保。
Cherian说高性能内存已经占到AI服务器硬件成本的75%以上。GPU和TPU并非算得不够快,很多时候是数据喂不进去,只能原地等内存。
![]()
Google也不是没想别的办法,TPU 8i塞了288GB HBM和384MB片上SRAM,软件上又用TurboQuant把工作内存最高压缩6倍。
然后呢?
压完还是不够,只能开始打拆DDR4的主意。
![]()
说到内存涨价,我们真的写烦了,,,之前连着写过好几篇,从内存、硬盘聊到整机,现在看到涨价两个字,,看麻了。。今年的电子产品消费,也从往年的早买早享受晚买享折扣变成:
刚需电子产品,首发请尽快买。早买能接受,晚买没折扣。
但聊到这里,看到如今内存涨价的魔幻场景,,我突然想起一个已经入土的名字——
英特尔傲腾持久内存。
![]()
这里给大家介绍介绍傲腾,傲腾背后的3D XPoint,原本的设计思路是在DRAM和闪存中间加入一个新的层。
它比DRAM慢,却比SSD快很多,且断电后数据还在。
![]()
傲腾持久内存直接插内存槽,单条能做到512GB,延迟大约350纳秒,开Memory Mode以后,DDR4当缓存,傲腾负责撑容量。
这玩意放到今天,听着是不是有点眼熟?
大模型推理最头疼的东西之一,就是KV Cache。。对话越长、并发越高,它吃掉的内存越多。傲腾当然替不了HBM,它的带宽不够,但拿来做容量型内存层,接住那些放不进高速内存的数据,思路还是很好的。
可惜,英特尔在2022年7月给它办了葬礼,同时为此付出了5.59亿美元存货减值,宣布英特尔将彻底关闭此项产品线。
4个月后,ChatGPT上线。
作为老玩家,当年的聊天记录还在
![]()
4个月。
英特尔当时但凡再坚持一两年,这条产品线说不定就起飞了。
当然,站在2022年的财务报表前,这个决定其实可以理解,,
首先当时的傲腾价格尴尬,生态绑着至强,应用还得改软件,背后又是持续烧钱的专用产线,,熬了多年卖不动,CXL看起来更开放,换谁坐在会议室里,都很难继续填钱。
(并且第二年还有酷睿系列1314代缩缸事件,至此英特尔彻底沦为牢英)
![]()
牢英走快了两步,傲腾成了先烈。
对了,今年还真有人买了6根二手128GB傲腾,配DDR4和一张RTX 3060,用llama.cpp把万亿参数的Kimi K2.5跑到了每秒约4个token。
![]()
停产的老内存,撬动万亿参数模型。
坟头不但有人烧纸,纸还点着了。
技术史经常这样——太早的产品和做错的产品,最后躺在同一片墓园里,碑上都只写着失败。可等时代终于追上来,人们才发现,有些墓碑其实是路标。
只是傲腾等不到了。
Google还在机房里拆DDR4,我们在旁边看着内存价格继续往上蹿。要是哪天英特尔真把新内存架构重新做起来,我大概会想起这座坟。
早一步是先驱,早两步,是先烈。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.