网易首页 > 网易号 > 正文 申请入驻

大模型最快推理芯片一夜易主:每秒500tokens干翻GPU!

0
分享至

白交 克雷西 发自 凹非寺
量子位 | 公众号 QbitAI

太快了太快了。

一夜间,大模型生成已经没什么延迟了……来感受下这速度。

眼花缭乱了吧,生成速度已经接近每秒500 tokens。

还有更直观的列表对比,速度最高能比以往这些云平台厂商快个18倍吧。



(这里面还有个熟悉的身影:Lepton)

网友表示:这速度简直就是飞机vs走路



值得一提的是,这并非哪家大公司进展——

初创公司Groq,谷歌TPU团队原班人马,基于自研芯片推出推理加速方案。(注意不是马斯克的Grok)

据他们介绍,其推理速度相较于英伟达GPU提高了10倍,成本却降低到十分之一。

换言之,任何一个大模型都可以部署实现。

目前已经能支持Mixtral 8x7B SMoE、Llama 2的7B和70B这三种模型,并且可直接体验Demo。

他们还在官网上喊话奥特曼:

你们推出的东西太慢了……



每秒接近500tokens

既然如此,那就来体验一下这个号称「史上最快推理」的Groq。

先声明:不比较生产质量(手动狗头)。就像他自己说的那样,内容概不负责。



目前,演示界面上有两种模型可以选择。



就选择Mixtral 8x7B-32k和GPT-4同擂台对比一下。

提示词:你是一个小学生,还没完成寒假作业。请根据《星际穿越》写一篇500字的读后感。

结果啪的一下,只需1.76秒就生成了一长串读后感,速度在每秒478Tokens。



不过内容是英文的,以及读后感只有三百六十多字。但后面也赶紧做了解释说考虑到是小学生写不了那么多……



至于GPT-4这边的表现,内容质量自然更好,也体现了整个思路过程。但要完全生成超过了三十秒。单是读后感内容的生成,也有近二十秒钟的时间。



除了Demo演示外,Groq现在支持API访问,并且完全兼容,可直接从OpenAI的API进行简单切换。

可以免费试用10天,这期间可以免费获得100万Tokens。

目前支持Llama 2-70B 和7B, Groq可以实现4096的上下文长度,还有Mixtral 8x7B这一型号。当然也不局限于这些型号,Groq支持具体需求具体定制。

价格方面,他们保证:一定低于市面上同等价格。



不过可以看到,每秒500tokens似乎还不是终极速度,他们最快可以实现每秒750Tokens



谷歌TPU团队创业项目

Groq是集软硬件服务于一体的大模型推理加速方案,成立于2016年,创始团队中很多都是谷歌TPU的原班人马。

公司领导层的10人中,有5人都曾有谷歌的工作经历,3人曾在英特尔工作。

创始人兼CEO Jonathan Ross,设计并实现了第一代TPU芯片的核心元件,TPU的研发工作中有20%都由他完成。



Groq没有走GPU路线,而是自创了全球首个L(anguage)PU方案。

LPU的核心奥义是克服两个LLM瓶颈——计算密度和内存带宽,最终实现的LLM推理性能比其他基于云平台厂商快18倍。

据此前他们介绍,英伟达GPU需要大约10焦耳到30焦耳才能生成响应中的tokens,而 Groq 设置每个tokens大约需要1焦耳到3焦耳。

因此,推理速度提高了10倍,成本却降低了十分之一,或者说性价比提高了100倍。



延迟方面,在运行70B模型时,输出第一个token时的延时仅有0.22秒。



甚至为了适应Groq的性能水平,第三方测评机构ArtificialAnalysis还专门调整了图表坐标轴。



据介绍,Groq的芯片采用14nm制程,搭载了230MB大SRAM来保证内存带宽,片上内存带宽达到了80TB/s。

算力层面,Gorq芯片的整型(8位)运算速度为750TOPs,浮点(16位)运算速度则为188TFLOPs。



Groq主要基于该公司自研的TSP架构,其内存单元与向量和矩阵深度学习功能单元交错,从而利用机器学习工作负载固有的并行性对推理进行加速。



在运算处理的同时,每个TSP都还具有网络交换的功能,可直接通过网络与其他TSP交换信息,无需依赖外部的网络设备,这种设计提高了系统的并行处理能力和效率。

结合新设计的Dragonfly网络拓扑,hop数减少、通信延迟降低,使得传输效率进一步提高;同时软件调度网络带来了精确的流量控制和路径规划,从而提高了系统的整体性能。



Groq支持通过PyTorch、TensorFlow等标准机器学习框架进行推理,暂不支持模型训练。

此外Groq还提供了编译平台和本地化硬件方案,不过并未介绍更多详情,想要了解的话需要与团队进行联系。



而在第三方网站上,搭载Groq芯片的加速卡售价为2万多美元,差不多15万人民币。



它由知名电子元件生产商莫仕(molex)旗下的BittWare代工,同时该厂也为英特尔和AMD代工加速卡。



目前,Groq的官网正在招人。

技术岗位年薪为10万-50万美元,非技术岗位则为9万-47万美元。



“目标是三年超过英伟达”

除此之外,这家公司还有个日常操作是叫板喊话各位大佬

当时GPTs商店推出之后,Groq就喊话奥特曼:用GPTs就跟深夜读战争与和平一样慢……阴阳怪气直接拉满~



马斯克也曾被他痛斥,说“剽窃”自己的名字。



在最新讨论中,他们疑似又有了新操作。

一名自称Groq工作人员的用户与网友互动时表示,Groq的目标是打造最快的大模型硬件,并扬言:

三年时间内赶超英伟达



这下好了,黄院士的核武器有新的目标了。

参考链接:
[1]https://wow.groq.com/
[2]https://news.ycombinator.com/item?id=39428880

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
没想到这么多工作需要保密!看完网友亲身经历,属实不容易啊!

没想到这么多工作需要保密!看完网友亲身经历,属实不容易啊!

影视解说阿相
2024-04-19 22:37:29
杭州26岁妻子失踪后续:人已找到,两个人爬了一个晚上,太累了

杭州26岁妻子失踪后续:人已找到,两个人爬了一个晚上,太累了

户外小阿隋
2024-04-25 10:23:20
“死刑立即执行吗?”男子离婚冷静期杀妻被判死刑,犯罪手段残忍

“死刑立即执行吗?”男子离婚冷静期杀妻被判死刑,犯罪手段残忍

新民周刊
2024-04-25 16:49:44
美媒指责中国官方已经不顾“外交礼仪”,对布林肯二度访华不重视

美媒指责中国官方已经不顾“外交礼仪”,对布林肯二度访华不重视

寥寥无几溜了
2024-04-25 00:43:30
“准00后”的她,破格提拔为副镇长

“准00后”的她,破格提拔为副镇长

鲁中晨报
2024-04-25 07:37:04
大反转!5600亩承包费用曝光,擅自改变土地性质,转租每年赚百万

大反转!5600亩承包费用曝光,擅自改变土地性质,转租每年赚百万

辣条小剧场
2024-04-25 09:00:03
已确认:全部遇难

已确认:全部遇难

家在栖霞
2024-04-24 20:29:44
赵雅芝工作室辟谣其死讯!上个月曾亮相广州一场马面裙发布秀

赵雅芝工作室辟谣其死讯!上个月曾亮相广州一场马面裙发布秀

南方都市报
2024-04-25 15:40:14
曾宣称不再生产纯净水的农夫山泉又要卖纯净水?知情人士称初期出货几千万瓶

曾宣称不再生产纯净水的农夫山泉又要卖纯净水?知情人士称初期出货几千万瓶

第一财经资讯
2024-04-25 11:11:26
妻子与男性朋友爬山失联后找到了!人在民宿,网友:丈夫很聪明

妻子与男性朋友爬山失联后找到了!人在民宿,网友:丈夫很聪明

林大师热点
2024-04-25 14:41:52
限期180天,美要求中国军工企业退出俄市场,否则就全面封锁制裁

限期180天,美要求中国军工企业退出俄市场,否则就全面封锁制裁

环球Talk
2024-04-23 23:47:26
赖文峰近照:抽雪茄喝5万元的酒稍显落寞,现任妻子比他小23岁

赖文峰近照:抽雪茄喝5万元的酒稍显落寞,现任妻子比他小23岁

柠檬有娱乐
2024-04-25 10:14:22
这一次,41岁的田馥甄,不再被世界宽恕

这一次,41岁的田馥甄,不再被世界宽恕

阅毒君
2024-04-24 23:30:25
全网疯传“北大私密群聊记录流出”:985高材生圈子,越看越震撼

全网疯传“北大私密群聊记录流出”:985高材生圈子,越看越震撼

小椰子专栏
2024-04-25 13:02:25
李晨和杨颖真是不可思议!这么熟怎么能下手?现在郑凯更意难平!

李晨和杨颖真是不可思议!这么熟怎么能下手?现在郑凯更意难平!

娱乐的小灶
2024-04-25 12:40:15
男子报警称妻子与异性爬山迷路,评论区亮了

男子报警称妻子与异性爬山迷路,评论区亮了

金陵隐士
2024-04-25 16:49:19
纪云浩前途尽毁!涉嫌学历造假、荣誉造假,父亲身份疑似遭曝光

纪云浩前途尽毁!涉嫌学历造假、荣誉造假,父亲身份疑似遭曝光

叶公子
2024-04-24 20:45:23
上海5人跑步被保安拦截,只因着装一致,官方:统一着装需要报备

上海5人跑步被保安拦截,只因着装一致,官方:统一着装需要报备

娱乐圈见解说
2024-04-25 12:26:31
五一将至,这些高颜值、天价“智商果”又出来骗人了

五一将至,这些高颜值、天价“智商果”又出来骗人了

火锅局
2024-04-25 09:53:27
都跑了?继苹果、富士康后,特斯拉正式官宣,外媒:彻底不回头了

都跑了?继苹果、富士康后,特斯拉正式官宣,外媒:彻底不回头了

大卫聊科技
2024-04-24 22:00:03
2024-04-25 18:44:49
量子位
量子位
追踪人工智能动态
9321文章数 175241关注度
往期回顾 全部

科技要闻

北京车展,被穿红衣服的他们占领

头条要闻

俄副防长被抓:进国防部3年升副部长 系绍伊古"老搭档"

头条要闻

俄副防长被抓:进国防部3年升副部长 系绍伊古"老搭档"

体育要闻

当胜利变成意外,就不要再提未来……

娱乐要闻

心疼!伊能静曝儿子曾被狗仔追到洗手间

财经要闻

曙光已现?瑞银开始转而看好中国地产业

汽车要闻

全新哈弗H9亮相 大号方盒子硬派SUV入列

态度原创

教育
旅游
时尚
亲子
手机

教育要闻

东莞一小学4年更换3款校服,家长敢怒不敢言,校方回应毫无说服力

旅游要闻

京都热门景点一棵樱花树突然倒下 游客被砸成重伤

我该怎么办?总是觉得渣男很有魅力!

亲子要闻

色斑多,两片叶子用好,脸蛋干净

手机要闻

联想旗下来酷X1 5G手机上架 搭载6nm国产芯 1599元起

无障碍浏览 进入关怀版