北京
芯片制造商Cerebras正在对其世界上最大的芯片进行升级，以创建可能是有史以来最大的人工智能计算集群。
一个合理大小的“晶片级集群”，正如Cerebras所说，可以将16个CS -2连接成一个集群，创建一个具有1360万个核的计算系统，用于自然语言处理（NLP）。但不仅仅如此，集群甚至可以更大。
Cerebras公司的首席执行官Andrew Feldman称:“我们最多可以将192个CS -2连接成一个集群。”
这家人工智能芯片制造商在人工智能硬件峰会上宣布了这一消息，该公司在会上发表了一篇关于整合巨型集群背后技术的论文。该公司最初在去年的Hot Chips上对该技术进行了预览，但在本周的展会上对这一想法进行了扩展。
Cerebras公司表示，拥有85万个核心的一个晶圆大小的CS-2系统训练出了包含200亿个参数的人工智能(AI)自然语言处理模型，这是在单个芯片上训练出的最大的人工智能自然语言处理模型。Cerebras的目标是在更短的时间内训练更大的模型。
“我们已经在CS -2集群上运行了最大的NLP网络。当我们加入CS-2s时，我们看到了线性性能。这意味着当你从一架CS -2变成两架CS -2时，训练时间会缩短一半。”
更大的自然语言处理模型有助于更精确地训练。目前最大的模型超过10亿个参数，而且还在不断扩大。谷歌的研究人员提出了具有5400亿个参数的新NLP模型和可扩展到1万亿参数的神经模型。
每个CS-2系统可以支持超过1万亿参数的模型，并且其可以处理高达100万亿参数的模型。CS-2这样的系统集群可以配对训练更大的AI模型。
SwarmX互连是一个独立的系统，将CS-2系统的大量集群连接在一起。SwarmX在集群级别上运行，这几乎类似于MemoryX在单个CS-2系统上的运行——它将集群中的内存和计算元素分解，并能够扩大可用的计算核数量，以解决更大的问题。
“SwarmX将MemoryX连接到CS-2s集群。这些集群的配置和操作非常简单，而且它们产生线性的性能扩展。”Feldman说。SwarmX使用100GbE的多通道传输。
Feldman说:“这些集群一起……产生线性性能扩展，一个16或32个CS-2集群训练一个万亿参数模型的时间比今天的GPU集群训练800亿个参数模型的时间要短。”
购买两台CS-2系统可能会让客户多花数百万美元，但Cerebras在演示中声称，这种系统比集群GPU模型更便宜，后者无法有效地扩大规模，并消耗更多的能量。Cerebras认为，GPU核心需要在数千个核心上相同地运行，以获得协调的响应时间。计算还需要分布在一个复杂的核心网络中，这可能是耗时和低效率的功耗。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
