网易首页 > 网易号 > 正文 申请入驻

英伟达被“偷家”?全新AI芯片横空出世 速度比GPU快十倍

0
分享至

《科创板日报》2月20日讯 芯片推理速度较英伟达GPU提高10倍、成本只有其1/10;运行的大模型生成速度接近每秒500 tokens,碾压ChatGPT-3.5大约40 tokens/秒的速度——短短几天,一家名为Groq的初创公司在AI圈爆火。

Groq读音与马斯克的聊天机器人Grok极为接近,成立时间却远远早于后者。其成立于2016年,定位为一家人工智能解决方案公司。

在Groq的创始团队中,有8人来自仅有10人的谷歌早期TPU核心设计团队。例如,Groq创始人兼CEO Jonathan Ross设计并实现了TPU原始芯片的核心元件,TPU的研发工作中有20%都由他完成,之后他又加入Google X快速评估团队,为谷歌母公司Alphabet设计并孵化了新Bets。


虽然团队脱胎于谷歌TPU,但Groq既没有选择TPU这条路,也没有看中GPU、CPU等路线。Groq选择了一个全新的系统路线——LPU(Language Processing Unit,语言处理单元)

“我们(做的)不是大模型,”Groq表示,“我们的LPU推理引擎是一种新型端到端处理单元系统,可为AI大模型等计算密集型应用提供最快的推理速度。”

从这里不难看出,“速度”是Groq的产品强调的特点,而“推理”是其主打的细分领域。

Groq也的确做到了“快”,根据Anyscale的LLMPerf排行显示,在Groq LPU推理引擎上运行的Llama 2 70B,输出比tokens吞吐量快了18倍,由于其他所有云推理供应商。


第三方机构artificialanalysis.ai给出的测评结果也显示,Groq的吞吐量速度称得上是“遥遥领先”。


为了证明自家芯片的能力,Groq还在官网发布了免费的大模型服务,包括三个开源大模型,Mixtral 8×7B-32K、Llama2-70B-4K和Mistral 7B - 8K,目前前两个已开放使用。


图|Groq(Llama 2)对比ChatGPT(来源:X用户JayScambler)

LPU旨在克服两个大模型瓶颈:计算密度和内存带宽。据Groq介绍,在 LLM 方面,LPU较GPU/CPU拥有更强大的算力,从而减少了每个单词的计算时间,可以更快地生成文本序列。此外,由于消除了外部内存瓶颈,LPU推理引擎在大模型上的性能比GPU高出几个数量级

据悉,Groq芯片完全抛开了英伟达GPU颇为倚仗的HBM与CoWoS封装,其采用14nm制程,搭载230MB SRAM,内存带宽达到80TB/s。算力方面,其整型(8位)运算速度为750TOPs,浮点(16位)运算速度为188TFLOPs。

值得注意的是,“快”是Groq芯片主打的优点,也是其使用的SRAM最突出的强项之一。

SRAM是目前读写最快的存储设备之一,但其价格昂贵,因此仅在要求苛刻的地方使用,譬如CPU一级缓冲、二级缓冲。

华西证券指出,可用于存算一体的成熟存储器有Nor Flash、SRAM、DRAM、RRAM、MRAM等。其中,SRAM在速度方面和能效比方面具有优势,特别是在存内逻辑技术发展起来之后,具有明显的高能效和高精度特点。SRAM、RRAM有望成为云端存算一体主流介质。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
美国官员表示:2023年俄罗斯90%的微电子产品,均来自东方大国!

美国官员表示:2023年俄罗斯90%的微电子产品,均来自东方大国!

杂谈哥闲谈
2024-04-13 23:55:59
越闹越大!五一放假最新安排通知来了!后面中秋、国庆还要调休!

越闹越大!五一放假最新安排通知来了!后面中秋、国庆还要调休!

影孖看世界
2024-04-13 22:01:25
突然!断崖式崩盘

突然!断崖式崩盘

鲁中晨报
2024-04-13 22:36:08
突发!江西抚州发生一起严重车祸,网友:哪是开太快,飞太低了!

突发!江西抚州发生一起严重车祸,网友:哪是开太快,飞太低了!

火山诗话
2024-04-14 13:53:56
马拉松再出闹剧!非洲3人组故意放水 “护送”中国名将夺冠

马拉松再出闹剧!非洲3人组故意放水 “护送”中国名将夺冠

末位侃球
2024-04-14 10:56:50
毁三观,温州一街道办处副主任被曝出轨和母女花办公室玩1v2

毁三观,温州一街道办处副主任被曝出轨和母女花办公室玩1v2

三月柳
2024-04-14 13:11:41
太掉价了!范冰冰现身泰国参加活动,只能在三轮车上巡游自甘堕落

太掉价了!范冰冰现身泰国参加活动,只能在三轮车上巡游自甘堕落

小咪侃娱圈
2024-04-14 15:34:06
以色列等国领空重新开放!拜登:美将反对以对伊的任何反击!以军:99%的伊朗导弹和无人机被拦截

以色列等国领空重新开放!拜登:美将反对以对伊的任何反击!以军:99%的伊朗导弹和无人机被拦截

每日经济新闻
2024-04-14 15:02:34
伊朗对以色列发动史无前例的袭击,局势正向最坏的方向发展

伊朗对以色列发动史无前例的袭击,局势正向最坏的方向发展

军机图
2024-04-14 11:12:13
1-2!中超惨烈一战,门将客串后卫,遭韦世豪读秒绝杀 补时21分钟

1-2!中超惨烈一战,门将客串后卫,遭韦世豪读秒绝杀 补时21分钟

体坛纪录片
2024-04-14 17:43:11
伊媒称至少10个国家帮助以色列对抗伊朗的行动

伊媒称至少10个国家帮助以色列对抗伊朗的行动

界面新闻
2024-04-14 17:15:40
“不准买新疆棉花!”欧洲军火商抓狂,乌克兰等哭了……

“不准买新疆棉花!”欧洲军火商抓狂,乌克兰等哭了……

枢密院十号
2024-04-13 23:47:35
我们被骗得好惨!抗疫英雄李兰娟院士打造了医疗公司,要冲击上市

我们被骗得好惨!抗疫英雄李兰娟院士打造了医疗公司,要冲击上市

南风西洲
2024-04-13 21:32:08
闹大了!重庆燃气甩锅后,重庆成立联合调查组,有人要倒霉了!

闹大了!重庆燃气甩锅后,重庆成立联合调查组,有人要倒霉了!

财话连篇
2024-04-13 21:17:50
新华社快讯:以色列13日夜发布新的安全警告,将在未来48小时内停止全国所有学校的教学活动。

新华社快讯:以色列13日夜发布新的安全警告,将在未来48小时内停止全国所有学校的教学活动。

新华社
2024-04-14 02:13:04
不敢信!大S居家照曝光,具俊晔深夜投喂泡面,碳水之爱不同凡响

不敢信!大S居家照曝光,具俊晔深夜投喂泡面,碳水之爱不同凡响

娱小小新
2024-04-14 11:37:59
重返英超!穆里尼奥下一站确定,八冠劲旅送上新合同,球迷笑了

重返英超!穆里尼奥下一站确定,八冠劲旅送上新合同,球迷笑了

祥谈体育
2024-04-14 16:08:40
闹大了!保时捷女车主威胁整死对方:不就是20万的事,后续来了

闹大了!保时捷女车主威胁整死对方:不就是20万的事,后续来了

缘木不求娱
2024-04-13 17:17:31
伊朗军方:若支持以色列,约旦将成为“下一个目标”

伊朗军方:若支持以色列,约旦将成为“下一个目标”

参考消息
2024-04-14 12:19:06
又一巨头宣告破产!账户仅剩371元......

又一巨头宣告破产!账户仅剩371元......

中国基金报
2024-04-14 00:07:19
2024-04-14 19:54:44
财联社
财联社
以“准确、快速、权威、专业”为新闻准则,为投资者提供专业的投资资讯。
414533文章数 986230关注度
往期回顾 全部

科技要闻

M4芯片来了,苹果AI PC的超级王炸

头条要闻

媒体:伊朗反击相对克制 以方或不会再进一步攻击

头条要闻

媒体:伊朗反击相对克制 以方或不会再进一步攻击

体育要闻

闫晓楠硬扛张伟丽裸绞 被锁晕仍不拍地

娱乐要闻

突发!歌手朴宝蓝意外离世,年仅30岁

财经要闻

要给万科写书回血?知名作家也清仓万科了

汽车要闻

电动奢侈品 英菲尼迪Vision Qe北京车展将首秀

态度原创

教育
亲子
数码
健康
公开课

教育要闻

破案了!难怪孩子上了这么多辅导班,华文成绩却原地不动!

亲子要闻

儿科麻醉医生专访,一起深度了解麻醉~

数码要闻

开源路由系统 iStoreOS 推出 NAS 版,提供 x86、ARS4 固件

这个季节高发!中国2亿人被它折磨

公开课

反抗痛苦,最好的方式就是读书

无障碍浏览 进入关怀版