北京
分享至
据说，名为 Groq 的初创公司带着史上最快的大模型和自研芯片LPU来了。经过网友测试，Groq每秒生成速度接近500 tok/s，碾压GPT-4的40 tok/s。
根据Groq官网的介绍，LPU是一种专为AI推理所设计的芯片。但要训练大模型，仍然需要购买GPU。如果把训练必做养兵千日，那么推理就是用兵一时,两者缺一不可。Groq LPU的快速输出，还是离不开背后GPU的数据训练。 因此结合训练和推理的总成本来看。如人工智能专家贾扬清分析称，Groq综合成本相当于英伟达GPU的30多倍。
“有意见”留言板
@卡卡卡卡西：面对大模型，船大不好掉头的反而是芯片厂商，大家都知道大模型更需要的是访存密集型芯片，但现在的芯片厂商都是基于自己干了那么多年的芯片架构进行优化，没勇气从头再来，所以OpenAI奥特曼才想自研芯片，这也才有了Groq的震撼登场。
@贰言：Groq的自研LPU比英伟达的GPU性能更强，这对英伟达等传统AI芯片制造商来说是个巨大的挑战。在AI技术日益普及的当下，传统制造商必须考虑如何更高效地整合AI技术，以增强自身产品和服务的竞争力
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
