网易首页 > 网易号 > 正文 申请入驻

AI芯片的一百种死法

0
分享至


前几天,英伟达成为首家市值达到2万亿美金的芯片公司,创造了历史。同一时间,一家名为Groq的初创公司横空出世,扬言“三年之内赶超英伟达”。

Groq狠话的底气,来源于它所开发的芯片——LPU。

LPU的全称是Language Processing Unit,翻译过来就是语言处理单元,是一种新型AI加速器。在它的支持下,大模型的推理速度快得惊人,瞬间能输出长篇幅答案;而使用了英伟达芯片的GPT-4,只能一个字一个字往外蹦。

前者的响应速度最高可达到500T/S,而后者只有40T/S[1]。

这是什么概念?相当于一秒钟生成300个单词,7分钟生成一部《哈姆雷特》长度级的文章。


Groq背后的团队也可谓群星璀璨,公司CEO Jonathan Ross是谷歌初代TPU的设计者之一。早期谷歌TPU团队的10位成员中,8位都跳槽到了Groq。

自2016年成立,Groq就饱受市场关注。2020年,Groq的芯片被美国阿贡实验室采用。2021年,Groq获老虎环球基金等机构投资,估值超过10亿美元。

然而,Groq公司的各种“挑衅”,英伟达完全没放在眼里。相比之下,此前“奥特曼7万亿美元造芯”的新闻出来之后,黄仁勋至少还出来说了两句。

毕竟,眼下Groq的种种套路,老黄可再熟悉不过了。


文字游戏

当下,制约AI芯片发展的主要困境,是内存墙:内存的传输速度远远慢于处理器算力,导致性能迟迟上不去。

如果把芯片想象成一个餐厅,那么内存就是仓库,处理器就是后厨。

仓库送菜比后厨烹饪还慢,严重限制了餐厅的出菜速度。因此,包括英伟达在内的芯片厂商,都在围绕“仓库(内存)”做文章。而Groq碾压英伟达的秘诀,也藏在内存结构里。

传统计算机所使用的内存,其实有两种:

DRAM容量较大,但传输速度较慢,起主存作用;而SRAM容量较小,但传输速度极快,作为缓存发挥辅助作用。一直以来,二者都是合作关系,缺一不可。

但Groq为了追求极致的速度,摒弃了DRAM,让SRAM扛起了LPU主存大旗。

相当于砍掉距离厨房较远的大仓库,直接将所有食材都堆在厨房边的菜篮子里。 这样的设计思路下,LPU不但在速度上形成降维打击,还轻松绕过了两个成本最高的技术: HBM和先进封装。

这也构成了Groq另一个大吹特吹的宣传核心:便宜。

根据Semi Analysis的拆解,LPU由于具备架构优势,物料成本仅为1050美元。相比之下,去年全球疯狂的H100芯片,物料成本则达到3700美元[2]。

在售价层面,一块LPU的价格是20000美元,远低于H100的35000美元。


历史无数次告诉我们,大部分弯道超车的结局都是有田下山,LPU也不例外。

大模型对内存大小也有着很高的要求。参数量越大的模型,运行时所需要存储的数据也会更多。

SRAM虽然快,但缺陷是容量小,通常只有4-16MB。Groq研发团队多年苦心钻研,最终也只是将LPU的容量提升至230MB。而一块H100的内存容量是80GB,两者间差了约356倍。菜篮子再怎么升级换代,终究无法和仓库相提并论。

想装下所有的食材,唯一的办法就是把菜篮子数量堆上去。因此,在运行同样参数的模型时,需要用到的LPU数量就远远高于GPU。

前阿里技术副总裁贾扬清就算了一笔账:


以运行LLaMA 70b模型为例,需要572张LPU,售价1144万美元;但如果换成H100,其实只需要8张,总价格在30万美元左右——所谓的“便宜”压根不成立。

芯片一多,整体的功耗成本也直线上升。LPU每年至少消耗25.4万美元电费,而H100顶多花费2.4万美元。


事实证明,Groq的遥遥领先,只是隐去了核心信息的文字游戏。它所宣传的“高速”,是以近乎夸张的使用成本换来的:运行三年LLaMA 70b模型,LPU的使用成本将比英伟达的GPU高出32倍。

当然,Groq的研发团队,显然对此心知肚明。选择此时大张旗鼓,更像是一种拉投资的举动。

事实上,这已经不是Groq第一次公开“蹭热度”了。

之前GPT Store刚发布时,Groq给OpenAI的奥特曼发了一封信,嘲笑使用GPTs跟在“深夜读《战争与和平》一样缓慢”。马斯克的聊天机器人Grok发布时,它也跑去贴脸嘲讽,质疑Grok抄袭了自己的名字。


过去几年,打着“替代英伟达”旗号的初创公司数不胜数,Groq只不过是其中之一。目前,在超车英伟达的这条弯道,已经出现了严重塞车。

前车之鉴

Groq最直观的参考样本,来自英国公司Graphcore。

Graphcore诞生之初,也曾拿着“技术路线别出心裁、演示视频酷炫惊艳、性能数据秒杀同行”的剧本,拳头产品IPU与Groq的LPU设计思路异曲同工,也是用高速的SRAM取代DRAM作为芯片内存,以实现极致的传输性能。

同时,Graphcore调整了芯片架构,专注于处理高性能计算。

它曾颇有自知之明地表示“不与英伟达直接竞争”,只将目标客户定位在,特别需要大量高性能计算的化学材料和医疗等特殊领域。


Graphcore的两位创始人

2019年,微软成为Graphcore首款IPU的大客户。 2020年5月,微软科学家将IPU内置于微软Azure操作系统中,用于识别胸部X光片。 这位科学家说道:

“Graphcore芯片可以在30分钟内完成,GPU需要5个小时才能完成的工作。”

在最风光的2016至2020年间,Graphcore共拿到了7.1亿美元融资,估值高达27.7亿美元,一度被视为全英国乃至欧洲全村的希望。Graphcore的投资者不仅有微软、三星、戴尔等科技巨头,也囊括了红杉资本、柏基投资等顶级风投。

相比今天的Groq,当年的Graphcore只能说有过之无不及。但Graphcore的后续发展却远远不及当时的预期。

2022年,Graphcore全年营收只有270万美元,为英伟达同期收入的万分之一,且相较前一年下降46%,亏损达到了2亿美元。 2023年,人工智能浪潮爆发,英伟达业绩再度暴涨。 H100一卡难求之时,Graphcore以为自己至少能捡到英伟达的漏,结果却连汤都没喝着。

去年,Graphcore的创始人Nigel Toon向英国首相写了篇“公开信”,讨要补贴。

他写道,“Graphcore已经为英国预留了多达3000个IPU芯片,可以为整个国家提供服务”,几乎已经是明示要钱[4]。


不久前,一面业绩亏损,一面融资无果的Graphcore走向了最后一条路: 寻求收购。 根据The Telegraph爆料,其售价可能在5亿多美元——不到2020年最高估值时期的五分之一[5]。

当年,以Graphcore为首的挑战者们,各怀绝学,来势汹汹,颇有一种八大门派围攻光明顶的既视感。然而,如今多已散作鸟兽状。

去年3月,芯片公司Mythic一度因资金耗尽而濒临倒闭,快要淹死之际,才好不容易等到了救命缰绳,拿到了1300万美元融资。

另一家芯片公司Blaize也出现了类似的困境,最后靠着中东土豪的投资,才活了下来。

剩下的公司中,Habana可能是唯一活得不错的——它被英特尔以20亿收购,保留了独立运营的权利。


从Graphcore到Mythic,这些芯片公司的技术路线各不相同;然而,它们失败的原因,却出奇一致。事实上,今天大火的Groq,同样也极有可能倒在同一个地方:

芯片卖不出

真正的护城河

英伟达的GPU固然厉害,但它卖芯片的套路,才是真正的护城河。

每年,英伟达都会投入相当一部分的研发经费,围绕GPU搭建系统性能力。当然,这是高情商的说法,低情商的说法是开发一起“捆绑销售”的产品——这才是英伟达最坚实的城墙。目前,英伟达的城墙共有3层:

第一层城墙,是CUDA的编程生态。

众所周知,GPU最初的使用场景是游戏与视频图像渲染。早期,一些华尔街精英偶尔利用GPU的并行计算能力来跑交易,但由于需要重新编写大量代码,因此并未广泛传播开来。

黄仁勋坚信GPU能用于更多领域,因此在2006年推出了降低编程门槛的软件架构CUDA,和自家GPU捆绑推出。

后来,苹果和AMD都推出了类似平台,但此时CUDA生态早已构建,在“用得人越多,CUDA越好用,新开发者越倾向于选择CUDA”的良性循环中稳定前进。

如今,CUDA可以让英伟达GPU的使用成本大幅降低。

一位私有云CEO曾在接受采访时说过,理论上AMD卡也不是不能用,但要把这些卡调试到正常运转,需要多耗费两个月[6]——找谁下单,答案不言而喻。


2017年,英伟达甚至向AI研究员赠送了V100芯片

第二层城墙,是NV-Link的高速传输。

一个数据中心,不可能只使用一块AI芯片。然而,如果将2块AI芯片连在一起,那么实际算力必然会小于2,因为数据传输的速度慢于芯片算力,且过程中还存在损耗。

显然,在GPU数量迅速膨胀的数据中心内,解决数据传输问题其关键。

2016年,英伟达为IBM服务器提供GPU时,首次用上了自研的NVLink技术,带宽高达80G/s,通信速度提高了5倍,性能提升了14%,好评不断。此后几年,英伟达一边迭代NVLink技术,一边规定该技术必须绑定自家芯片使用。

套路虽然简单直白,但就是有效。

而第三层城墙,则是英伟达的“铁杆好兄弟联盟”。

过去一年,英伟达是全球最主要的人工智能投资人之一,活跃程度甚至超过了a16z和红杉等顶级投资机构。

据外媒统计,英伟达去年至少有35笔人工智能投资,包括:由前DeepMind联合创始人创办的Inflection AI,欧洲人工智能独角兽Mistral,世界最大的开源模型社区Hugging Face等等[7]。


Inflection AI创始人苏莱曼

积极投资的目的,其实很简单:当黄仁勋提着美金和H100芯片,敲开这些公司的大门,没有人会再拒绝英伟达。

这所有的一切,足以让市面上绝大多数公司,都绑死在英伟达的船上。

面对性能强大的英伟达GPU,各路初创公司们或许有办法,打造出性能相匹敌的产品。然而。英伟达卖芯片的套路,却让这些公司始终难以招架。因此,Graphcore等挑战者的失败,真的不是不努力。

当眼下的炒作逐渐回归寂静,Groq也得思考相同的问题:到底谁会翻过三座大山,来买LPU?

尾声

2月23日,英伟达市值突破2万亿美元。距离上一个1万亿,仅仅过了9个月。

Groq的爆火,让市场又一次开始讨论同一个问题:到底有没有人能叫板英伟达?

遗憾的是,英伟达远比人们想象的要强大。人工智能浪潮给芯片行业提供了一块大蛋糕,英伟达并没有分的意思,而是整个端走塞进了口袋。

芯片初创公司Mythic的CEO曾愤然表示,人工智能火了,他们却更难融资了,就是英伟达“搞坏了大环境”。

根据PitchBook数据,截至2023年8月底,美国芯片初创企业融资8.814亿美元,约为2022年同期的一半。交易数量的变化则更加触目惊心:从23宗减少到了4宗[8]。

Graphcore、Mythic的前车之鉴历历在目,所以也不怪Groq跟大家玩儿文字游戏。面对这么一个“汤都不给喝”的庞然大物,Groq又能怎么办呢?



参考资料

[1] Jay Scambler,X

[2] Groq Inference Tokenomics: Speed, But At What Cost,Semi Analysis

[3] 大模型最快推理芯片一夜易主:谷歌TPU创业团队打造,量子位

[4] OPEN LETTER TO THE UK PRIME MINISTER ON INVESTMENT IN EXASCALE COMPUTE,Graphcore

[5] British AI champion explores foreign sale,The Telegraph

[6] Nvidia H100 GPUs: Supply and Demand,GPU Utils

[7] Nvidia emerges as leading investor in AI companies,FT

[8] Nvidia's dominance in AI chips deters funding for startups,reuters

封面图片来自 shotdeck

编辑:陈彬

视觉设计:疏睿

责任编辑:陈彬


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
韩召见日外交官表达强烈抗议

韩召见日外交官表达强烈抗议

参考消息
2024-04-16 13:46:29
“老默”魔都跑单遭调侃,明星体验困在系统里的外卖骑手,难!

“老默”魔都跑单遭调侃,明星体验困在系统里的外卖骑手,难!

动物的世界6
2024-04-17 02:40:07
世俱杯诞生22席,巴萨失去资格,阿森纳参赛条件:夺得欧冠冠军

世俱杯诞生22席,巴萨失去资格,阿森纳参赛条件:夺得欧冠冠军

足球狗说
2024-04-17 08:13:08
女大学生吐槽妈妈“从来没上过一天班” 评论区里一堆人破防了!

女大学生吐槽妈妈“从来没上过一天班” 评论区里一堆人破防了!

起喜电影
2024-04-16 17:40:22
领导干部任职前公示

领导干部任职前公示

锡望
2024-04-16 17:15:01
37岁丁俊晖定居英国,年入千万住顶级富人区,42岁妻子身材傲人

37岁丁俊晖定居英国,年入千万住顶级富人区,42岁妻子身材傲人

娱乐圈酸柠檬
2024-04-15 20:51:39
申台龙不满U23亚洲杯裁判:这不是场足球比赛,而是喜剧表演

申台龙不满U23亚洲杯裁判:这不是场足球比赛,而是喜剧表演

懂球帝
2024-04-16 18:13:29
“提灯定损”涉事违建房将拆除,时间尚未确定

“提灯定损”涉事违建房将拆除,时间尚未确定

南方都市报
2024-04-16 16:48:23
欧洲将援助乌超百架F16,俄恐未收到密款200亿,德再援乌武器

欧洲将援助乌超百架F16,俄恐未收到密款200亿,德再援乌武器

爱吃鱼的哆啦A梦
2024-04-13 08:47:09
法国顶级美人伊莎贝尔·于佩尔红毯大赏,岁月这把刀终是伤到她了

法国顶级美人伊莎贝尔·于佩尔红毯大赏,岁月这把刀终是伤到她了

娱乐圈人物大赏
2024-04-15 06:48:42
为了迫使中国让步,德国总理朔尔茨代表欧洲硬生生的制造了两个

为了迫使中国让步,德国总理朔尔茨代表欧洲硬生生的制造了两个

玄冰乐亦
2024-04-16 19:25:00
明查|约旦公主在伊以袭击事件中击落伊朗数架无人机?

明查|约旦公主在伊以袭击事件中击落伊朗数架无人机?

澎湃新闻
2024-04-17 07:00:35
外媒披露美将在G20会议上继续对华施压

外媒披露美将在G20会议上继续对华施压

参考消息
2024-04-16 17:07:09
格鲁吉亚总统发表声明支持抗议:格鲁吉亚不会屈服于重新苏维埃化

格鲁吉亚总统发表声明支持抗议:格鲁吉亚不会屈服于重新苏维埃化

探索星空
2024-04-16 10:19:25
黑天鹅突袭!金融风暴席卷全球?美债抛售!中国打响金融保卫战?

黑天鹅突袭!金融风暴席卷全球?美债抛售!中国打响金融保卫战?

云姐闲聊
2024-04-16 14:32:14
伊朗GPS被关闭,导弹飞行2000公里末端S机动,炸点仍然精确到米级

伊朗GPS被关闭,导弹飞行2000公里末端S机动,炸点仍然精确到米级

二次元小韩
2024-04-16 02:40:27
六台记者:如果巴黎欧冠遭淘汰,姆巴佩和皇马可能马上会有动作

六台记者:如果巴黎欧冠遭淘汰,姆巴佩和皇马可能马上会有动作

直播吧
2024-04-16 15:33:33
马云没说谎,未来这4个行业或将面临淘汰,看看有没有你?

马云没说谎,未来这4个行业或将面临淘汰,看看有没有你?

元芳
2024-04-16 12:39:03
全国多地网友抢先预订华为Pura 70!华为Mate之父李小龙:就要来了

全国多地网友抢先预订华为Pura 70!华为Mate之父李小龙:就要来了

快科技
2024-04-16 15:31:13
很幻灭!蔡依林现身贵阳机场,生图又矮又小比例差,被嘲不足158

很幻灭!蔡依林现身贵阳机场,生图又矮又小比例差,被嘲不足158

爱永不改变
2024-04-16 12:02:09
2024-04-17 08:34:44
远川科技评论
远川科技评论
用投资视角,扒巨头秘史
298文章数 2223关注度
往期回顾 全部

科技要闻

久未露面,刘强东开"分身"直播,想做什么

头条要闻

山东男子花二三十万开"甘肃麻辣烫"店 开业18天关门了

头条要闻

山东男子花二三十万开"甘肃麻辣烫"店 开业18天关门了

体育要闻

CBA最佳外援的含金量还在涨

娱乐要闻

44岁霍建华街头骑单车,状态真好!

财经要闻

分红不达标是否会被退市?证监会回应

汽车要闻

广汽本田极湃2溜背造型 本田人间清醒!

态度原创

教育
时尚
旅游
健康
本地

教育要闻

这题要么超纲要么缺条件!四年级的学生说,全班没有一个做对的

40+的男人怎么穿才能看着「混得不错」?

旅游要闻

去了第一代网红城市,我后悔了

这2种水果可降低高血压死亡风险

本地新闻

我和我的家乡|曲阳石雕,让石头“活起来”

无障碍浏览 进入关怀版