北京
百亿亿次级“仙女座”集群的内核数量超过1954个Nvidia A100 GPU。
上图：Cerebras 仙女座集群，一台1350万核的人工智能超级计算机。
据路透社报道，周一，Cerebras系统公司发布了其1350万核心的“仙女座（Andromeda）”人工智能超级计算机，用于深度学习。根据Cerebras的说法，仙女座在16位半精度的情况下提供了超过 1 exaflop（1百亿亿次每秒）的人工智能计算能力。
仙女座本身就是由16台连接在一起的 Cerebras C-2 计算机组成的集群。每个CS-2包含一个晶圆规模引擎芯片（通常称为“WSE-2”），这是目前最大的硅芯片，约8.5平方英寸，封装2.6万亿晶体管，组成85万个核。
Cerebras 花了3500万美元在加利福尼亚州圣克拉拉的一个数据中心建立了仙女座集群。它针对大型语言模型等应用程序进行了调优，并且已经被用于学术和商业工作。Cerebras 在一份新闻稿中写道：“仙女座集群通过跨GPT-3、GPT-J和GPT-Neox等GPT级大型语言模型的简单数据并行，提供了近乎完美的伸缩性。”
上图：Cerebras WSL2芯片大约8.5英寸见方，封装了2.6万亿个晶体管。
根据Cerebras公司的说法，“近乎完美的伸缩性”意味着随着 Cerebras 公司向仙女座集群添加更多CS-2计算机单元，神经网络的训练时间以“近乎完美的比例”减少。通常情况下，要通过使用基于GPU的系统增加更多计算能力来扩大深度学习模型的规模，人们可能会看到随着硬件成本的上升，回报会逐渐减少。此外，Cerebras声称其超级计算机可以执行基于GPU的系统无法执行的任务：
仙女座第一批用户之一，展示了GPU不可能完成的工作，他在GPT-J上实现了25亿和250亿个参数的近乎完美的缩放，长序列长度——MSL为10240。用户试图在2000个 NVIDIA A100集群Polaris上做同样的工作，但由于GPU内存和内存带宽的限制，GPU无法完成这项工作。
这些说法是否经得起外部审查还有待观察，但在企业经常在越来越大的英伟达（Nvidia）GPU集群上训练深度学习模型的时代，Cerebras似乎提供了一种替代方法。
仙女座集群与其他超级计算机相比如何？目前，世界上最快的计算机“前沿”（Frontier）位于橡树岭国家实验室（Oak Ridge National Labs），在64位双精度下的运算速度为1.103 exaflops。这台计算机的建造成本为6亿美元。
对仙女座集群的访问现在可由多个用户远程使用。它已经被商业写作助手 JasperAI 和阿贡国家实验室以及剑桥大学用于研究。
如果朋友们喜欢，敬请关注“知新了了”！
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
