北京
分享至
评估大语言模型（LLM）推理性能，业界常用每秒生成token数（tok/s）来衡量速度。但一个更全面的新指标正在出现：tok/s/MW——即系统每消耗一兆瓦总配置功率，每秒能生成多少token。
这个指标将性能与能耗绑定在一起，能更真实地反映推理系统的整体效率，而不仅仅是单看生成速度。
一个具体测算案例
以英伟达B300配置为例，在单并发用户下，运行DeepSeek V4时每块GPU可生成约14个输出tok/s。根据SemiAnalysis数据中心行业模型估算，每块B300的配置功率为1.9 kW（即0.0019 MW）。
代入公式计算：14 tok/s ÷ 0.0019 MW = 7,368 tok/s/MW，即每配置兆瓦约7,400个输出tok/s。
这个数字意味着，在考虑功率消耗的前提下，该配置的推理吞吐效率达到了一个可量化的基准。对于数据中心规划和模型部署决策来说，这类指标有助于在性能与能源成本之间做出更精准的权衡。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
