网易首页 > 网易号 > 正文 申请入驻

Deepseek催化LPU芯片需求大增

0
分享至



事件性驱动:

1、Grop发布LPU性能大超H100

2024年,AI推理市场迎来历史性拐点。Groq公司公布的LPU(Language Processing Unit)实测数据引发行业震动:在Llama 2-70B推理任务中,其LPU系统实现每秒近300 token的吞吐量,相较英伟达H100实现10倍性能提升,单位推理成本降低达80%。这标志着专用推理芯片首次在核心指标上实现对GPU的跨代超越,AI算力战争进入下半场。

推理市场的三个根本性转变,正在瓦解英伟达的护城河:

成本敏感度倒置:据Deci.ai测算,当企业AI推理规模超过5亿次/月时,算力成本将超越模型研发成本,而Groq的每token成本已降至0.0003美元

软件定义硬件的终结:PyTorch 2.0动态图特性导致GPU利用率普遍低于40%,而LPU的静态编译架构可将利用率稳定在92%以上

开源模型浪潮:Hugging Face开源模型下载量年增300%,LPU对开源生态的深度适配正在构建新的软件壁垒

2、Deepseek携手LPU,10倍碾压英伟达

Deepseek 与国产 LPU 结合,其语言大模型算力竟然达到了英伟达 GPU 算力的 10 倍。2025 年 1 月 20 日,DeepSeek 正式发布 DeepSeek-R1 模型,在数学、代码、自然语言推理等任务上,性能成功比肩 OpenAI o1 正式版,在 1 月 24 日国外大模型排名 Arena 上,DeepSeek-R1 基准测试升至全类别大模型第三,在风格控制类模型分类中与 OpenAI o1 并列第一,展现出强大的技术实力。仅仅一周后,DeepSeek 在中国区及美区苹果 App Store 免费榜均占据首位,成为首个同期在中国和美区苹果 App Store 占据第一位的中国应用,用户量在短时间内迅速攀升,在全球范围内掀起了使用热潮。

什么是LPU?

LPU,即语言处理单元(Language Processing Unit),是专为 AI 推理所设计的芯片,其工作原理与传统 GPU 截然不同,采用了时序指令集计算机(Temporal Instruction Set Computer)架构,这一独特架构使其无需像使用高带宽存储器(HBM)的 GPU 那样频繁地从内存中加载数据,从而有效避免了 HBM 短缺可能带来的问题,降低了成本。在能效方面,LPU 通过减少多线程管理的开销和避免核心资源的未充分利用,实现了更高的每瓦特计算性能,在执行推理任务时,从外部内存读取的数据更少,消耗的电量也低于英伟达的 GPU 。

以 Groq 公司的 LPU 芯片为例,在一次公开的基准测试中,Meta AI 的 Llama 2 70B 在 Groq LPU 推理引擎上运行,输出令牌吞吐量快了 18 倍,远远优于其他基于云的推理提供商。在ArtifialAnalysis.ai的 LLM 基准测试中,Groq 的方案在延迟与吞吐量、随时间的吞吐量、总响应时间和吞吐量差异等 8 个关键性能指标上击败对手,其中 Llama 2 70B 在 Groq LPU 推理引擎上达到了每秒 241 个 token 的吞吐量,是其他大厂的 2 倍还要多,总响应时间也最少,接收 100 个 token 后输出仅需 0.8 秒,这些数据充分展示了 LPU 在 AI 推理任务中的强大性能。

LPU与TPU同属于ASIC,下面通过对比看一下被许多人看好的LPU到底是什么:

LPU与TPU虽然都是为特定AI任务设计的专用芯片,但二者在架构目标、技术路径和应用场景上存在本质差异。

核心目标:

TPU

核心目标是加速神经网络训练与推理,尤其是张量运算(矩阵乘法、卷积等)。其设计延续"训练优先"思维,通过优化大规模并行计算支持模型迭代。

LPU:
专为大语言模型推理设计,聚焦降低token生成延迟与提升吞吐量。其架构彻底抛弃训练需求,通过确定性硬件调度实现实时交互性能。

技术路线差异

TPU的工程妥协:
保留通用性接口以兼容TensorFlow/PyTorch,采用HBM缓解内存瓶颈,但计算利用率仅达65%(MLPerf数据)。其架构本质是训练推理混合型加速器。

LPU的极端优化:
硬件直接硬编码Transformer计算图,通过单芯片230MB SRAM消除外部内存访问。在Groq演示中,其Llama2-70B推理时芯片利用率达98%,实现软件定义硬件的终极形态。

应用场景错位

TPU主战场:
Google Cloud上的大规模模型训练(如PaLM)、推荐系统推理(YouTube点击率预测)、计算机视觉批处理任务。

LPU突破点:
实时对话系统(每秒300 token)、代码生成(延迟<50ms)、金融高频推理(波动率预测)等强时延敏感场景。

生态位竞争分析

TPU的护城河:
绑定谷歌云生态,GCP客户使用TPU可获自动优化,形成从Colab到Vertex AI的工具链闭环。

LPU的颠覆性:
通过开源编译器支持Hugging Face模型直接部署,其Python API设计比TPU的XLA编译器更易用,正在吸引Mistral、Cohere等中立厂商。

总结:

TPU代表"通用专用芯片"路线,试图在专用与灵活性间寻找平衡;LPU则践行"算法即硬件"理念,通过架构与LLM计算图的完全耦合实现数量级提升。这种分化类似CPU与GPU的历史分野——当某个计算范式(如Transformer)足够稳定时,专用架构的胜利就成为必然。当前LPU在语言推理赛道的爆发,可能推动AI芯片进入"场景碎片化"的新阶段。

定义与设计目标:LPU是一种新型的专用集成电路,专为处理语言相关的计算密集型任务而设计,例如大型语言模型(LLM)的推理。

性能优势:LPU通过独特的架构设计,使用SRAM代替HBM,减少了数据加载时间,提高了推理速度和能效比。

可以看到LPU最关键的就是:采用230MB SRAM替代HBM,内存带宽飙升至80TB/s(H100为3.35TB/s),彻底打破"内存墙"对大模型吞吐量的制约。

国内相关SRAM芯片概念股:

北京君正(300223):全球 SRAM 行业龙头之一,其经营实体主要为 ISSI,主营业务为集成电路存储芯片、模拟芯片及其衍生产品的研发和销售,在 SRAM 存储芯片领域技术实力雄厚,市场份额较高。

恒烁股份(688416):专注于 SRAM 存储芯片领域,推出了 SRAM 数字存算一体方案,在技术创新方面具有一定优势,是 SRAM 存储芯片的重要企业。正在研发存算一体的AI推理芯片。

炬芯科技(688049):基于 SRAM 的存算一体技术应用于AI音频芯片领域,三核异构设计:基于 MMSCIM 的端侧 AI 音频芯片采用 CPU(ARM)+DSP(HiFi5)+NPU(MMSCIM)三核异构的设计架构,形成 “Actions Intelligence NPU(AI - NPU)” 架构,通过协同计算提供高弹性和高能效比。

西测测试(301306): 业务范围:西测测试提供SRAM读写擦除功能自动测试服务。公司在SRAM芯片测试领域具有一定的市场份额。

兆易创新(603986):作为中国存储芯片龙头企业,兆易创新的SRAM芯片业务起家较早。公司拥有丰富的产品线,涵盖多种容量和接口类型的SRAM芯片,能够满足不同客户的需求。

光力科技(300480): 公司通过将SRAM芯片与其他半导体技术集成,开发出高性能的半导体产品,应用于智能安防等领域

声明:取材网络,谨慎辨别

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
坐火车的难忘经历有哪些?看对面中铺一眼,好家伙,白花花的一片

坐火车的难忘经历有哪些?看对面中铺一眼,好家伙,白花花的一片

美好客栈大掌柜
2025-02-15 00:05:09
乌媒:泽连斯基称,乌克兰已收到新一批F-16战机

乌媒:泽连斯基称,乌克兰已收到新一批F-16战机

环球网资讯
2025-03-20 08:25:47
香港最牛“淫师”有多可怕?一技让女首富欲罢不能,15年砸钱32亿

香港最牛“淫师”有多可怕?一技让女首富欲罢不能,15年砸钱32亿

民间精选故事汇
2025-02-17 08:10:13
比鹤岗还狠!第一批日本“捡漏”买房的中国人:3万多买170m²独栋

比鹤岗还狠!第一批日本“捡漏”买房的中国人:3万多买170m²独栋

李砍柴
2025-03-20 00:18:42
《唐探1900》再次延期,如果没有《哪吒2》,它将会拿下全球年冠

《唐探1900》再次延期,如果没有《哪吒2》,它将会拿下全球年冠

影视高原说
2025-03-20 13:28:24
新能源汽车别瞎买!新车质量排名出炉:比亚迪刚过及格线

新能源汽车别瞎买!新车质量排名出炉:比亚迪刚过及格线

沙雕小琳琳
2025-03-20 01:02:27
港媒曝郑中基2月份已离婚,疑酒后乱性出轨经纪人,还拿阿Sa挡枪

港媒曝郑中基2月份已离婚,疑酒后乱性出轨经纪人,还拿阿Sa挡枪

古希腊掌管月桂的神
2025-03-15 11:35:31
3月20日俄乌:美乌领导人通话,俄空军基地遭袭引发爆炸

3月20日俄乌:美乌领导人通话,俄空军基地遭袭引发爆炸

山河路口
2025-03-20 18:16:49
14+4+4,正负值+26队内最高!湖人大将稳健输出 他完美适配东詹

14+4+4,正负值+26队内最高!湖人大将稳健输出 他完美适配东詹

胖子喷球
2025-03-20 12:55:08
有趣,快船队伦纳德对哈登拿捏莫布里的冷面反应在网上传播开来

有趣,快船队伦纳德对哈登拿捏莫布里的冷面反应在网上传播开来

好火子
2025-03-20 03:56:52
就这?余承东预热很久想象不到的产品,只是加宽折叠屏手机

就这?余承东预热很久想象不到的产品,只是加宽折叠屏手机

大白聊IT
2025-03-20 15:08:41
全运会乒乓球首个冷门诞生!广东女团1-3不敌西藏,刘诗雯没上场

全运会乒乓球首个冷门诞生!广东女团1-3不敌西藏,刘诗雯没上场

阿柒体讯
2025-03-20 13:11:46
CBA最新消息!广东欲换外援,丛明晨和辽宁解约,曾凡博本土第一

CBA最新消息!广东欲换外援,丛明晨和辽宁解约,曾凡博本土第一

中国篮坛快讯
2025-03-20 15:05:56
一人洗碗,全家致癌?五个洗碗坏习惯赶紧改掉,很多家庭还在做!

一人洗碗,全家致癌?五个洗碗坏习惯赶紧改掉,很多家庭还在做!

装修秀
2024-11-22 11:30:03
又美又飒!中国游泳19岁女神夺1冠2亚:新颜值担当已是世界冠军

又美又飒!中国游泳19岁女神夺1冠2亚:新颜值担当已是世界冠军

李喜林篮球绝杀
2025-03-20 11:27:14
“求饶”晚了!中方向全世界宣布:不许跟美合作,不接受任何谈判

“求饶”晚了!中方向全世界宣布:不许跟美合作,不接受任何谈判

惊觉惯例
2025-03-20 11:26:39
言慧珠自缢身亡后,年幼儿子将她的骨灰在被窝里藏了8年

言慧珠自缢身亡后,年幼儿子将她的骨灰在被窝里藏了8年

细品名人
2025-03-19 07:34:22
李嘉诚做的事,一百年前毛主席就预料到了。

李嘉诚做的事,一百年前毛主席就预料到了。

归史
2025-03-18 13:40:18
郭嘉璇去世细节曝光!19时心脏停止跳动,家属决定放弃治疗

郭嘉璇去世细节曝光!19时心脏停止跳动,家属决定放弃治疗

奥拜尔
2025-03-20 00:13:03
孩子得白血病,父亲走投无路偷卖变压器换了三万块钱被判入狱!

孩子得白血病,父亲走投无路偷卖变压器换了三万块钱被判入狱!

去非
2025-03-20 18:34:13
2025-03-20 19:56:49
小波股事历程 incentive-icons
小波股事历程
市场热点分享
1849文章数 2188关注度
往期回顾 全部

科技要闻

华为发业界首款阔折叠华为Pura X,7499元起

头条要闻

看上乌克兰矿产后 特朗普又要求接管扎波罗热核电站

头条要闻

看上乌克兰矿产后 特朗普又要求接管扎波罗热核电站

体育要闻

赛季快结束了,想起来自己是合同年了?

娱乐要闻

主流媒体为大S发声,生前最后一条动态被提起

财经要闻

快递诈骗 韵达出事

汽车要闻

搭华为ADS 3.3 问界新M5 Ultra售22.98万起

态度原创

亲子
教育
家居
时尚
本地

亲子要闻

宝宝高烧抽搐怎么办?这四点千万不要做!

教育要闻

春分纸鸢舞,看北京中小学如何解锁“风筝”新玩法——

家居要闻

阳光简约 清新大气

金秀贤承认恋情竟对金赛纶交往时间造假,韩网友愤怒直呼 “去死”

本地新闻

用AI唤醒花花世界|锡城春光正当时,一半花开一半诗

无障碍浏览 进入关怀版