网易首页 > 网易号 > 正文 申请入驻

10倍英伟达GPU:大模型专用芯片一夜成名,来自谷歌TPU创业团队

0
分享至



机器之心报道

编辑:泽南、蛋酱

能带来完全不同的大模型体验。

我们知道,大模型到 GPT-3.5 这种千亿体量以后,训练和推理的算力就不是普通创业公司所能承担的了,人们用起来速度也会很慢。

但自本周起,这种观念已成为历史。

有名为 Groq 的初创公司开发出一种机器学习处理器,据称在大语言模型任务上彻底击败了 GPU—— 比英伟达的 GPU 快 10 倍,而成本仅为 GPU 的 10%,只需要十分之一的电力。

这是在 Groq 上运行 Llama 2 的速度:

来源:https://twitter.com/emollick/status/1759633391098732967



这是 Groq(Llama 2)和 ChatGPT 面对同一个 prompt 的表现:

图源:https://x.com/JayScambler/status/1759372542530261154?s=20



尽管看起来不可思议,但事实就是如此,感兴趣的朋友不妨一试。

目前,Groq 的官网提供了试用体验,有这些模型可选:



官网地址:https://groq.com/

Groq 的处理器名为 LPU(语言处理单元),是一种新型的端到端处理单元系统,可以为具备序列组件的计算密集型应用(比如 LLM)提供极快的推理速度。

它带动的大模型速度能达到前所未有的 500 Token/s,并且实现了极低的延迟。



用硬件加速软件,总能给人一种力大砖飞的感觉。Groq 还在 LPU 上运行了最新锐的开源模型 Mixtral,模型在不到一秒的时间内回复了包含数百个单词的事实性的、引用的答案(其中四分之三的时间是用来搜索):



Groq 放出的 Demo 视频下,有人评论道:这也太快了,不该这么快。

有网友因此提出建议:因为大模型生成内容的速度太快,所以从用户体验的角度来看不应该再自动翻页了,因为人眼看不过来。



或许在 LPU 的加持下,生成式 AI 真的要如同 Gartner 最近预测所言:在两年内对搜索引擎构成巨大威胁了。仔细一想也确实合理,毕竟当年神经网络就是被 GPU 算力的发展带飞的。

至于为什么这么快?

有人分析,GPU 专为具有数百个核心的并行处理而设计,主要用于图形渲染,而 LPU 的架构旨在为 AI 计算提供确定性的性能。

LPU 的架构不同于 GPU 使用的 SIMD(单指令、多数据)模型,而是采用更精简的方法,消除了对复杂调度硬件的需求。这种设计允许有效利用每个时钟周期,确保一致的延迟和吞吐量。

能源效率是 LPU 相对于 GPU 的另一个值得注意的优势。通过减少与管理多个线程相关的开销并避免核心利用率不足,LPU 可以提供更多的每瓦计算量,将其定位为更环保的替代方案。

Groq 的芯片设计允许将多个 TSP 连接在一起,不会出现 GPU 集群中的传统瓶颈,使其具有极高的可扩展性。随着更多 LPU 的添加,这可以实现性能的线性扩展,从而简化大规模 AI 模型的硬件要求,并使开发人员更轻松地扩展其应用程序,而无需重新架构其系统。

在 A100 和 H100 相对紧缺的时代,LPU 或许会成为大模型开发商的新选择。



Groq 成立于 2016 年,这家公司的创始团队出自谷歌,曾经设计了谷歌自研 AI 芯片张量处理单元 TPU 系列。据官网介绍,Groq 公司创始人、首席执行官 Jonathan Ross 曾经承担了 TPU 的 20% 工作。

Jonathan Ross。



在去年的高性能计算会议 SC23 上,Groq 就展示过在 LPU 上运行 LLM 的全球最佳低延迟性能。当时,Groq 能够以每秒超过 280 个 Token 的速度生成回复,刷新了 Llama-2 70B 推理的性能记录。

今年 1 月,Groq 首次参与公开基准测试,就在 Anyscale 的 LLMPerf 排行榜上取得了突出的成绩,远超其他基于云的推理提供商。



图源:https://github.com/ray-project/llmperf-leaderboard?tab=readme-ov-file



人工智能已经在科技界掀起了一场风暴。2023 年可能是世界意识到人工智能将成为现实的一年,而 2024 年则是人工智能真正成为现实而不仅仅是假设的一年。这是 Jonathan Ross 曾经表达的一个观点。

当我们拥有 100 万 Token 上下文的 Gemini Pro 1.5、每秒 500 Token 推理速度的 Groq、推理能力更进一步的 GPT-5,梦想还会远吗?



参考内容:

https://blocksandfiles.com/2024/01/23/grokking-groqs-groqness/

https://siliconangle.com/2024/01/18/ai-leaders-discuss-state-ai-implemented-enterprise-cescoverage-cubeconversations/

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
看好克林根!灰熊愿和火箭讨论2换1交易?开拓者也有想法

看好克林根!灰熊愿和火箭讨论2换1交易?开拓者也有想法

小马哥谈体育
2024-05-29 17:01:05
法国锤子是毛毛雨,乌F-16挂GBU-39会让俄军尝炸弹雨

法国锤子是毛毛雨,乌F-16挂GBU-39会让俄军尝炸弹雨

移光幻影
2024-05-26 17:01:21
中央定调:2024年70岁及以上老人可享“3项优待”,包括农民在内

中央定调:2024年70岁及以上老人可享“3项优待”,包括农民在内

天下纵览
2024-04-13 12:39:22
又表一次忠心?姆巴佩:如果我必须去意大利踢球,那就去米兰

又表一次忠心?姆巴佩:如果我必须去意大利踢球,那就去米兰

懂球帝
2024-05-29 02:56:21
足球报:刘永灼签穆里奇时先谈塔尔德利,转攻穆里奇后加价50万刀

足球报:刘永灼签穆里奇时先谈塔尔德利,转攻穆里奇后加价50万刀

直播吧
2024-05-29 11:06:31
李兴湖任福建省副省长

李兴湖任福建省副省长

新京报
2024-05-29 17:08:19
河南郑州:打响了“为老百姓办实事”的第一枪!网友:好评如潮!

河南郑州:打响了“为老百姓办实事”的第一枪!网友:好评如潮!

三金杍
2024-05-29 13:03:31
11年后, 梁朝伟承认 真做了, 汤唯回应 他本色出演没有用替身!

11年后, 梁朝伟承认 真做了, 汤唯回应 他本色出演没有用替身!

圈里的甜橙子
2024-05-29 11:57:40
对美出口1519亿美元!我国跌为美国第四大进口国,前三名是谁?

对美出口1519亿美元!我国跌为美国第四大进口国,前三名是谁?

影剧真知岛
2024-05-29 11:18:11
中国是如何在产业政策上遥遥领先于世界的

中国是如何在产业政策上遥遥领先于世界的

西游日记
2024-05-28 23:59:52
闹大了!新疆文旅解除和汪峰新女友森林北一切合作,业内人怒批

闹大了!新疆文旅解除和汪峰新女友森林北一切合作,业内人怒批

飞哥AI矩阵
2024-05-26 19:22:46
六旬男医生吸吮女士私处已被拘留!医疗猥亵层出不穷,如何杜绝?

六旬男医生吸吮女士私处已被拘留!医疗猥亵层出不穷,如何杜绝?

丫头舫
2023-05-26 15:57:27
美国财政部发行700亿美元五年期国债,得标利率4.553%,投标倍数2.30

美国财政部发行700亿美元五年期国债,得标利率4.553%,投标倍数2.30

每日经济新闻
2024-05-29 05:44:07
北京楼市全军覆没,北京西城区房价从131000元降至114000元

北京楼市全军覆没,北京西城区房价从131000元降至114000元

有事问彭叔
2024-05-27 20:40:28
汪小菲Mandy 公开结婚后首现身北京机场,新婚妻子略显娇羞!

汪小菲Mandy 公开结婚后首现身北京机场,新婚妻子略显娇羞!

娱乐白名单
2024-05-28 17:56:26
国家税务总局广东省税务局原党委书记、副局长胡金木等3人被提起公诉

国家税务总局广东省税务局原党委书记、副局长胡金木等3人被提起公诉

界面新闻
2024-05-29 16:06:30
云南鸵鸟肉案张永明被执行死刑,临刑前拒见亲人孤身赴死

云南鸵鸟肉案张永明被执行死刑,临刑前拒见亲人孤身赴死

一度历史观
2024-05-20 13:09:20
比利时向乌克兰捐赠30架F-16——乌克兰获得F-16总数增至85架

比利时向乌克兰捐赠30架F-16——乌克兰获得F-16总数增至85架

桂系007
2024-05-28 21:20:10
中国女排澳门出师不利!朱婷球迷声讨蔡斌2宗罪,张常宁3人受牵连

中国女排澳门出师不利!朱婷球迷声讨蔡斌2宗罪,张常宁3人受牵连

刺头体育
2024-05-29 16:35:15
哈尔科夫持续遭空袭,泽连斯基访问西班牙求援:需要7套“爱国者”

哈尔科夫持续遭空袭,泽连斯基访问西班牙求援:需要7套“爱国者”

凤凰卫视
2024-05-28 16:41:06
2024-05-29 19:22:44
机器之心Pro
机器之心Pro
专业的人工智能媒体
9031文章数 141933关注度
往期回顾 全部

科技要闻

王传福再放狠话,燃油车要成“非主流”

头条要闻

70岁"烟草虎"受贿逾9亿被判死缓 退休9年仍在大肆敛财

头条要闻

70岁"烟草虎"受贿逾9亿被判死缓 退休9年仍在大肆敛财

体育要闻

巴黎主席向皇马索要8000万 佛爷:1分不给

娱乐要闻

张若昀怎么剧外比剧内更惨兮兮…

财经要闻

任正非最敬佩的对手,暂时受挫

汽车要闻

新哈弗H6苦练内功 向燃油车绝缘智能SAY NO

态度原创

艺术
游戏
本地
时尚
公开课

艺术要闻

穿越时空的艺术:《马可·波罗》AI沉浸影片探索人类文明

《刺客信条 影》新细节:玩家可选择对话/行动主角

本地新闻

食味印象|歙县限定!枇杷味儿的清甜初夏

中年男人,夏天还是穿T恤最舒适有型,记住:“3穿3不穿”更减龄

公开课

近视只是视力差?小心并发症

无障碍浏览 进入关怀版