山东
市场传出，特斯拉（Tesla Inc.）28日启动众所瞩目的超级计算机，准备用于各式人工智能（AI）应用，其运算能力特别强大、甚至可用来执行高性能计算（HPC）任务。事实上，这款基于英伟达（Nvidia Corp.）“H100”芯片的超级计算机，将成为全球最强大的计算机之一。
爆料可信度一向很高、同时也是特斯拉投资人的Sawyer Merritt通过社交平台X指出，特斯拉将在28日启动的10,000颗H100 GPU集群，会协助训练全自动辅助驾驶（FSD）系统。H100 GPU的运算性能是前一代A100的五倍快，可加快特斯拉训练FSD的速度、训练成果也会比过去更优秀。不过，H100 GPU非常昂贵，单颗要价近40,000美元。
Merritt指出，由于英伟达无法追上市场对GPU的需求，特斯拉只能斥资十多亿美元打造自家超级计算机“Dojo”。Dojo使用公司高度优化的定制芯片，2024年有望成为全球最强大的超级计算机之一。这款超级计算机也会训练特斯拉的车队并处理这些车队传回的数据。特斯拉首席执行官马斯克（Elon Musk）7月曾表示，“老实说，若英伟达交出足够GPU，我们也许不需要Dojo。”
Merritt表示，特斯拉的英伟达H100 GPU集群与Dojo将同时启动，这能大幅拉升特斯拉的运算能力，目前没有任何一家汽车企业能够与之匹敌。Merritt并附上一张图，显示特斯拉内部预测，Dojo运算能力有机会在2024年10月达到100 Exa-Flops。
Tomorrow,@Teslawill turn on a massive and very expensive 10,000 unit NVIDIA H100 GPU cluster to help it train FSD. But that got me wondering, what is the difference between these new H100 GPUs and the older A100 graphics processing units (GPUs) Tesla has been using for the last…pic.twitter.com/ZoCjR1SdjI
— Sawyer Merritt (@SawyerMerritt)August 28, 2023
Merritt并指出，特斯拉的FSD V12版终端对终端训练已触及运算瓶颈，但该公司会积极确保未来不会如此。根据马斯克说法，特斯拉光2023年就会耗资超过20亿美元训练运算力，2024年也会采取同样行动。
Tom's Hardware报道，特斯拉AI推论兼AI平台工程经理Tim Zaman 27日则解释，在真实世界视频的训练下，特斯拉拥有的也许是世界最大训练数据库，缓存热层的容量超过200PB，数量级（orders of magnitudes）比大型语言模型（LLMs）还高。
Tesla AI 10k H100 cluster, go live monday.
Due to real-world video training, we may have the largest training datasets in the world, hot tier cache capacity beyond 200PB – orders of magnitudes more than LLMs.
Join us!https://t.co/F4A0Qb0CXG
— Tim Zaman (@tim_zaman)August 26, 2023
根据报道，10,000颗H100 GPU集群对技术性运算的性能峰值可达340 FP64 PFLOPS，对于AI应用的性能峰值则可达39.58 INT8 ExaFLOPS。相较之下，Leonardo旗下的全球第四优秀超级计算机性能仅304 FP64 PFLOPS。
（首图来源：shutterstock）
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
