围观新MLPerfAI推理冠军 ，两家本土服务器 你选谁一起过？

有人说，服务器是互联网的灵魂。进入人工智能时代，AI服务器就是一切逻辑运行的根本。

根据IDC最新发布的2020H1《全球人工智能市场半年度追踪报告》显示，目前2020年上半年全球人工智能服务器市场规模达55.9亿美元。机构预测，未来AI服务器将保持高速增长，在2024年全球市场规模将达到251亿美元。

站在时代的风口上，实力厂商谁也不甘落后。因此，我们既看到了传统服务器厂商在AI领域阔步前行，也看到新锐力量在时代更替中的强势崛起。毕竟，你我都清楚知道：在大变局的情势之下，一切皆有可能。

作为衡量AI服务器的标准，目前，MLCommons每年组织2次MLPerf AI训练性能测试和2次MLPerf AI推理性能测试，为用户衡量设备性能提供权威有效的数据指导。而MLPerf是影响力最广的国际AI性能基准评测，备受业界关注和重视。

MLPerf再放新榜 两国产品牌均获超15项第一

美国太平洋时间9月22日10点，采用最新InferenceV1.1标准的MLPerf 推理测试成绩发布，总计超过10家国际知名服务器厂商的数十种产品参与了本次测试。

MLPerf推理V1.1 AI基准测试固定任务(Closed)包括数据中心(共16个项目)和边缘(共14个项目)两大场景。在数据中心场景下设置6个模型，分别是图像识别（ResNet50）、医学影像分割（3D-UNet）、目标物体检测（SSD-ResNet34）、语音识别（RNN-T）、自然语言理解（BERT）以及智能推荐（DLRM），其中Bert、DLRM和3D-Unet设有高精度（99.9%）模式。

除3D-UNet模型任务只考察Offline离线推理场景性能外，其他模型任务按照Server在线推理和Offline离线推理两种应用场景分别进行性能测试。边缘场景AI模型在数据中心场景的6个模型基础上删减了智能推荐（DLRM）模型，并增加目标物体检测（SSD-MobileNet）模型，所有模型均有Offline离线推理场景和SingleStream单流推理两个场景。

23日，浪潮宣布获得15项冠军；同日，宁畅宣布取得总共21项第一成绩。

浪潮在本次MLPerf竞赛获得15项全球第一，涵盖医学影像识别、自然语义理解、图像识别、语音识别、智能推荐、目标物体检测（SSD-ResNet34）以及目标物体检测（SSD-MobileNet）全部7项AI模型任务，从云到边全面领先。

浪潮持续提升数据中心场景下MLPerf各项任务性能成绩，即便在相同服务器配置下各项任务成绩依然得到较大改善，如图像识别(ResNet50)和语音识别(RNN-T)的模型性能分别较半年前的V1.0竞赛成绩提升了4.75%和3.83%。

宁畅X620G40与X640 G40人工智能服务器,在closed(封闭)赛段的3D-UNet99、ResNet-50与SSD-large等模型测试中,共取得21项第一成绩。

除X620 G40外，宁畅X640G40人工智能服务器，不仅整体AI性能取得全部16个推理模型第一成绩，平均单卡性能也取得12个模型的最好成绩。

值得注意的是，这是继7月份以来，浪潮和宁畅再次蝉联多项第一成绩，两者在AI服务器领域的实力再次得到验证，不容小觑。

浪潮持续登高 宁畅从新锐到地位稳固

浪潮发布新闻中宣称：“浪潮连续第四次位居MLPerf™ AI基准测试冠军数量榜首。”

宁畅表示：“自2020年以来至今，宁畅AI服务器在参加的三次MLPerf推理与训练测试中，已取得了53项第一成绩，并打破AI服务器世界性能多项纪录。”

作为老牌和新锐服务器厂商，浪潮和宁畅自然不会放过任何一次评比得机会，搜索一下，我们能清晰地查阅到浪潮参赛得脉络。

2020年美国东部时间10月21日，全球备受瞩目的权威AI基准测试MLPerf公布今年的推理测试榜单，浪潮AI服务器NF5488A5一举创造18项性能纪录，在数据中心AI推理性能上遥遥领先其他厂商产品。

同日，宁畅AI服务器X640宣称：首登MLPERF，斩获30项AI性能世界第一，同GPU配置测试获16项世界第一。

2021年6月30日，国际权威AI性能基准评测平台MLPerf，发布了基于Training V1.0 的最新标准测试结果。

浪潮 NF5688M6和NF5488A5在固定任务赛道8大场景中一共收获4项冠军。

宁畅AI服务器X640 G40和X660 G45在固定任务（closed）赛道8大场景测试中收获两大场景世界冠军。

值得一提的是，请大家注意的是：浪潮 NF5688M6 获得DLRM 和 SSD 的单机训练性能第一，搭载的是500W功耗GPU，宁畅搭载的是400W功耗GPU。从这个角度上来说，同功率下，宁畅收获的同样是八大场景4个冠军席位。

根据公开资料，自2020年至今2021年7月，浪潮参与了MLPerf™ trainingv0.7, Inference v0.7, Inference v1.0, training v1.0四次竞赛。已经累计斩获41项冠军。

再加上这一次，获得15项冠军，浪潮4次总计获得56个第一。宁畅这次取得总共21项第一成绩，3次参赛总计获得53个第一，冠军总数浪潮略有胜出，但从单次平均获奖数量来看，宁畅技高一筹。难分伯仲。

我们不难看出，浪潮在AI服务器领域持续发力，而宁畅则被贴上行业黑马、独角兽厂商的标签。从成绩来看，宁畅在AI服务器领域，实力地位逐渐稳固。

MLPerf测试成绩的背后 代表的不仅仅是性能

28天前，国际权威数据中心媒体The Next Platform 针对全球权威AI基准测试MLPerf发布报道《MLPerf为何益于AI和你》。

报道中说：“当您采购设备时，往往担心三件事——性能、性价比和总体拥有成本。倘若没有衡量性能的基准，也没有对产品价格的合理判断，就不能估算总体拥有成本，更不知将预算投往何处。”

文章结论是：“这个问题也同样适用于运行AI 应用程序的服务器系统，这就是MLPerf 基准测试被看重的原因。”

如果我们回溯到最新的测试成绩来看：搭载8颗NVIDIA® A10 Tensor Core GPU宁畅X620 G40分别以3D-UNet99模型高低精度 179；ResNet-50离线模型97016；SSD-large在线、离线模型2500、2051的测试分数，取得2U人工智能服务器的五项第一成绩，成为本次测试中获得第一成绩最多的2U高度AI服务器。

这些分数背后的意义：3D-UNet得分意味着能够每秒完成170余次三维医学图像的分割，且精度高达99.9%；ResNet得分意味着能够每秒完成近10万张图片中各个事物类别的海量识别；SSD评分代表了离线场景下每秒可完成2500张图片中信息的分类、定位与精准检测、在线场景下每秒可应答2000余次实时目标检测的推理任务。

搭载10块NVIDIA® A30 Tensor Core GPU的宁畅X640 G40人工智能服务器，更将4U服务器机能发挥到极致。相比较其他搭载8块NVIDIA® A30 GPU的服务器，宁畅X640 G40不仅整体AI性能取得全部测试模型第一成绩，平均单卡性能也取得12项冠军。

再来看浪潮，浪潮取得此次MLPerf竞赛佳绩的三款AI服务器，分别是NF5488A5、NF5688M6及NE5260M5。

NF5488A5是全球首批上市的A100服务器，在4U空间支持8颗第三代NVlink互联的A100 GPU和2颗AMD Milan CPU，同时支持液冷和风冷散热技术；

NF5688M6是面向大规模数据中心优化设计的具备极致扩展能力的AI服务器，支持8颗A100 GPU和两颗Intel Icelake CPU，支持多达13张PCIe Gen4的IO扩展卡；

NE5260M5通过极致优化的信号和电源等系统设计，兼容高性能CPU和多种AI加速卡，通过减震降噪优化和严苛的可靠性测试，机箱深度430mm较普通服务器缩短近二分之一，满足空间受限的边缘计算场景部署需求。

2021年4月23日，MLPerf组织发布最新的MLPerf Inference v1.0结果，安培架构A100 Tensor Core GPU经过半年的优化，可将AI训练时间从数周缩短到几小时，显著加快了推理速度，无疑助力推动了整个AI行业的发展。

MLPerf的Benchmark证明了A100 GPU性能，但其不菲的售价也让许多公司需要量力购买。

当时，媒体报道：“更具性价比的NVIDIA A30（功耗165W）和A10（功耗150W） GPU也在MLPerf Inference v1.0中首秀。”

A30 GPU强于计算，支持广泛的AI推理和主流企业级计算工作负载，如推荐系统、对话式AI和计算机视觉。

A10 GPU更侧重图像性能，可加速深度学习推理、交互式渲染、计算机辅助设计和云游戏为混合型AI和图形工作负载提供支持。

A100 GPU第一的浪潮，A30、A10GPU第一的宁畅，你选择谁和你过日子？

结 语

随着国家加速新型基础设施建设，AI将会加速与交通、能源、制造等行业融合，进而撬动经济增长。AI服务器必将为千行百业提供新动能。

据IDC数据，目前中国AI服务器已经成为全球人工智能产业发展的中坚力量。2020年中国人工智能基础设施市场规模达到39.3亿美元，同比增长26.8%。其中，AI服务器市场规模占整体人工智能基础设施市场的87%以上，并持续保持高速增长。机构预测，中国AI服务器市场未来将占全球AI服务器市场的三分之一左右。

作为20多年ICT媒体老炮，我非常欣喜地看到浪潮持续创新，同样非常欣喜地看到宁畅在极短的时间内成为新的中坚力量。

未来已来。AI时代，你与谁一起前行？

深度：和讯名家签约作者

展锐生态：5G时代UP生长新图景

天翼云上半年增幅过百 攻势凌厉谋变局

“国资云” 一张截图引发的疑云

有能力才有实力 亚马逊云科技合作伙伴成长的底层逻辑