网易首页 > 网易号 > 正文 申请入驻

4卡96GB显存暴力输出!英特尔锐炫Pro B60和长城世恒X-AIGC工作站评测:可满足千人同时在线聊天

0
分享至

一、前言:当前最具性价比的96GB/192GB AI推理卡

凭借深耕多年的CUDA护城河,NVIDIA在AI领域一度拥有"定价权",这也让这家公司的GPU及相关产品的售价逐渐脱离普通的消费者。

然而,随着硬件巨头Intel向"全栈AI公司"快速转型,这种绝对垄断正在被打破。

早在2019年,Intel就发布了oneAPI 跨架构编程模型,旨在让代码在 CPU、GPU、NPU 之间通用。这意味着开发者用一套代码即可调用 Intel 的所有算力,降低了迁移成本。

oneAPI还允许开发者将原本仅能NVIDIA CUDA环境下运行的代码,通过其迁移工具(SYCLomatic)快速转换到Intel硬件上,为Arc系列显卡运行主流大模型打下了坚实的软件基础。

去年,Intel发布了基于第二代Xe2架构(Battlemage)的专业级显卡—Intel Arc Pro B60。随后,以Maxsun(铭瑄)、SPARKLE(撼与)、GUNNIR(蓝戟)为代表的核心伙伴正式将其推向全球市场,直指高性能AI推理领域。

Intel Arc Pro B60与此前发布的消费级Intel Arc B580一样,都采用了完整的BMG-G21 GPU 核心, 拥有20个Xe2核心,2560个FP32单元(也可以说是2560个流处理器),20个光追单元和160个XXM AI引擎。

每颗BMG-G21 GPU可提供12.28 TFLOPS的FP32浮点性能以及197 TOPS的INT8 AI性能。

在显存方面,Intel Arc Pro B60设计了192bit位宽、19Gbps GDDR6显存,显存带宽高达456GB/s,显存容量则从Intel Arc B580的12GB直接翻倍到了24GB。

与更贵的NVIDIA RTX Pro 2000相比,Intel Arc Pro B60不论是显存容量还是显存带宽都比对手高出了50%。

而在大模型推理中,显存容量决定了模型的参数上限,带宽则决定了吐字速度。

相比之下,NVIDIA同样显存规格的AI加速卡,售价往往是Arc Pro B60的3至4倍。

随着DeepSeek等大规模 MoE 模型爆发的,Intel Arc Pro B60成为了目前市面上构建 96GB(4卡) 到 192GB(8卡)超大显存池最具性价比的方案。

此次我们收到了来自于长城的世恒X-AIGC工作站,这台主机搭载了Intel Xeon w5-3435X处理器、256GB(4x64GB)DDR5 ECC 6400MHz内存、2600W金牌电源以及4张Intel Arc Pro B60 24GB显卡,共计96GB显存。

二、英特尔锐炫Pro B60和长城世恒X-AIGC工作站图赏

长城世恒X图形工作站包含4张Arc Pro B60显卡,不过为了运输安全,发货时,显卡会单独包装,并不会直接安装在主机里面。

Arc Pro B60 24GB公版显卡正面照,双槽厚度,配备一个涡轮风扇。

显卡背面有全尺寸的金属背板,大量的片式聚合物电容也放在背面。

3个DP 2.1和一个HDMI 2.1接口。

2个8Pin供电接口放在了显卡尾端。

长城世恒X图形工作站。

超大的水冷头与水泵采用了分离设计,水泵在其中一根水冷管上。

将4张Arc Pro B60安装进去。

长城世恒X图形工作站与4张Arc Pro B60合体。

三、GPT-OSS-120B MXFP4多并发性能测试:能满足千人同时在线聊天

GPT-OSS-120B是OpenAI首个开源的千亿级参数模型,总参数 1170 亿 (117B),被认为是测试多卡并联(Multi-GPU Parallelism)和分布式计算性能的标杆。

我们将GPT-OSS-120B模型下载至容器的llmmodels目录下,并开启vLLM OpenAI API服务,具体参数如下:

由于120b占用显卡超过66GB,只能4卡并联进行测试,推理精度bfloat16,单次批处理的最大Token总数为 8192,最大上下文长度(Token 数)为 3000,GPU 显存利用率上限为 90%(预留10%给系统),使用MXFP4(混合精度 FP4)进行量化压缩。

vLLM OpenAI API 服务已经成功启动,下面单开一个窗口进行测试。

vLLM版本是最新的0.5.0,无法使用过去的benchmark_serving.py脚本进行测试,因此我们直接使用vllm bench serve命令,分别测试并发数1,10,20,30,40,50,60,70,80,90,100时的AI性能。

这是并发数为1的测试成绩日志,请求成功率 100%,在处理 120B 这种超大规模模型时,100 个请求全部成功且无一报错,说明4卡 Arc Pro B60 + MXFP4运行测试时非常稳定。

TTFT (首字延迟)仅为91.37ms,说明Arc Pro B60预填充(Prefill)阶段的爆发力极强。

平均 ITL (逐词延迟) 为 32.01 ms,输出吞吐量则为184tok/s。

下面是并发数从1,10,20,30,40,50,60,70,80,90,100的性能变化。

当并发数从1~10时: 系统的吞吐量呈现指数级增长,从 184 飙升至 613 tok/s。

不过并发数达到60之后,吞吐量为701 tok/s,基本上已经达到了这套系统的极限,即便请求数增加到100之后,总吞吐量也就增加了1%左右。

整个测试期间,ITL (逐词延迟)稳定得出奇,在达到并发 30 后,ITL 甚至随着并发增加而轻微下降。也就是说在高负载下,计算核心被填充得更满,单步推理的效率反而由于批处理效应而略微提升。

TTFT (首字延迟)震动比较剧烈,并发数为1时仅有91ms,并发数20时为241ns,并发数100时已经到了1344ms。

对于大多数用户而言,10 tok/s即可拥有丝滑的访问体验,根据长城世恒X图形工作站700tok/s的极限性能计算,它可以承受70个用户同时请求回答。

再按1:15的活跃比计算,这台工作站可以支持1000人同时在线聊天。

四、Llama-3.1-8B测试:比同价位RTX Pro 2000 16GB要快50%

1、Llama-3.1-8B

Llama-3.1-8B的显存需求只有7GB左右,因此不仅可以对Arc Pro B60 24GB进行单卡、双卡、4卡测试,我们还能测试桌面版RTX 5060 Ti 16GB的推理性能并与之进行对比!

vLLM 0.5.0 正式建立了对 Intel Arc GPU的原生支持,不再是以往那种简单的代码迁移,而是针对 Intel 的计算单元架构做了适配:

在并发数下,RTX 5060 Ti 16GB的性能略胜于单卡Arc Pro B60 24GB,但随着并发数的提升,Arc Pro B60 24GB随着并发数的提升,Arc Pro B60 24GB凭借大显存的优势开始逆袭,并发数90时,可以领先RTX 5060 Ti 16GB约10%左右。

4张Arc Pro B60 24GB在低并发数时性能优势并不明显,但随着并发数的提升,特别是达到100并发后,4张Arc Pro B60 24GB的性能几乎是单卡的4倍。

下面将精度降为FP8,重复上面的测试,但将N卡换成RTX Pro 2000。

与同价位的NVIDIA RTX Pro 2000 16GB相比,Arc Pro B60 24GB几乎展现出了碾压性优势。

同样是4卡并行进行运算,4xArc Pro B60 24GB比起4xRTX Pro 2000 16GB要强了50%左右,在并发数为100的情况下,凭借96GB大显存,Intel的领先幅度甚至达到了65%。

五、小结:用入门级N卡的价钱 买了接近旗舰级N卡的显存容量和推理性能

凭借CUDA生态的支持,NVIDIA的GPU在特定的生产力与AI方面的确有无可比拟的性能优势。

但是在大模型时代,显存即正义。

96GB显存意味着你可以本地运行参数量更大的模型,比如千亿级参数GPT-OSS-120B、LLaMA-3-130B对于4卡Arc Pro B60 24GB完全不是问题。

同样价位的NVIDIA RTX Pro 2000 16GB,4卡合计64GB显存,这是一个相对尴尬的显存容量,只能运行70B模型。在面对千亿级模型时必须极致量化压缩显存,且仅支持短上下文低负载推理,完全无法支持训练和微调。

而在性能方面,Arc Pro B60 24GB几乎展现出了碾压性优势。

同样是4卡并行运算(Llama-3.1-8B-Instruct FP8),4xArc Pro B60 24GB比起4xRTX Pro 2000 16GB要强了50%左右,在并发数为100的情况下,凭借96GB大显存,高负载(Batch 100)下,Intel 方案达到了 2110 Tokens/s,而同样价位的NVIDIA方案仅为 1279 Tokens/s。

Intel的领先幅度超过了65%。

在运行1200亿参数的GPT-OSS-120B时,Arc Pro B60 24GB在预填充(Prefill)阶段展现出了极强的爆发力,并发数为1的时候,Mean TFT (首字延迟)仅为91.37ms。

当并发数达到60之后,4张Arc Pro B60 24GB的吞吐量超过了701 tok/s,能满足千人同时在线聊天。

对于想要组建高性能本地 LLM 推理站的企业而言,5000元的Arc Pro B60 24GB显然是更具性价比的选择。

要知道NVIDIA类型算力的24GB专业卡,其售价几乎是Arc Pro B60 24GB的4倍左右。

很简单的结论:Arc Pro B60 24GB能让用户以入门级N卡的价钱,买了接近旗舰级N卡的显存容量和推理性能。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
中国邻居变天,亲华总统被逼下台,根烂透了,换再多总统还是这样

中国邻居变天,亲华总统被逼下台,根烂透了,换再多总统还是这样

影孖看世界
2026-11-17 23:57:53
交手不败纪录差点丢了!国足2比2战平,对阵巴林5胜5平

交手不败纪录差点丢了!国足2比2战平,对阵巴林5胜5平

澎湃新闻
2026-11-17 22:29:04
这样的女人是极品中的极品

这样的女人是极品中的极品

风起见你
2026-11-03 12:37:03
葡萄牙新7号神了!突破+推射1条龙破门,2场造2球热苏斯有底气了

葡萄牙新7号神了!突破+推射1条龙破门,2场造2球热苏斯有底气了

体育知多少
2026-11-18 07:44:27
英伟达第三财季净利润增长105%,史上首次单季营收突破千亿美元,财报带动美股AI硬件盘后走高

英伟达第三财季净利润增长105%,史上首次单季营收突破千亿美元,财报带动美股AI硬件盘后走高

东方豪侠
2026-11-18 06:50:38
从别人身上偷学到受益终生的好习惯!网友:我等这个帖子等了30年

从别人身上偷学到受益终生的好习惯!网友:我等这个帖子等了30年

另子维爱读史
2026-11-17 17:38:36
10月份,问界M8卖了700多辆,问界M5卖了67辆

10月份,问界M8卖了700多辆,问界M5卖了67辆

难得君
2026-11-15 16:14:44
曾因一条评论,被认定为缅北电诈网红的李赛高,如今怎么样了?

曾因一条评论,被认定为缅北电诈网红的李赛高,如今怎么样了?

烈史
2026-11-17 06:38:27
特斯拉即将推出 2026 年度大更新,重磅新功能来了!

特斯拉即将推出 2026 年度大更新,重磅新功能来了!

XCiOS俱乐部
2026-11-17 20:45:14
好奇查了一下黄仁勋的出身,不查不知道,一查惊讶了,原来黄仁勋根本不是什么大富豪家庭,而是普通的知识分子家庭。

好奇查了一下黄仁勋的出身,不查不知道,一查惊讶了,原来黄仁勋根本不是什么大富豪家庭,而是普通的知识分子家庭。

回京历史梦
2026-11-15 06:35:06
1-2,日本不敌南美劲旅,5连胜遭终结,福田师王破门难救主

1-2,日本不敌南美劲旅,5连胜遭终结,福田师王破门难救主

侧身凌空斩
2026-11-17 23:06:08
时间定了,中方宣布安排,11月19日这一天,全世界都将拭目以待

时间定了,中方宣布安排,11月19日这一天,全世界都将拭目以待

铁锤侃侃而谈
2026-11-17 10:46:23
你抛美债,我抛中债!外资纷纷减持中国债,大量资金流向美国?

你抛美债,我抛中债!外资纷纷减持中国债,大量资金流向美国?

明天见灌装冰块
2026-11-17 09:33:32
南越文王只剩一堆残渣,却留下个名字奇怪的明星文物:人操蛇?

南越文王只剩一堆残渣,却留下个名字奇怪的明星文物:人操蛇?

收藏大视界
2026-11-17 23:09:32
美国记者站在深圳街头惊叹不已,真正让美国害怕的,从来不是速度

美国记者站在深圳街头惊叹不已,真正让美国害怕的,从来不是速度

讲者普拉斯
2026-11-17 21:55:42
30岁河南外援渴望进国足:若被归化很荣幸!在中国3年像活在电影里

30岁河南外援渴望进国足:若被归化很荣幸!在中国3年像活在电影里

我爱英超
2026-11-18 00:01:01
为啥某多多的商品很便宜?网友:做电商的都知道,其实货都是一样的

为啥某多多的商品很便宜?网友:做电商的都知道,其实货都是一样的

带你感受人间冷暖
2026-11-16 10:34:09
董路评国足2-2巴林:我们以后只用找2个人就行 这是赢球的唯一方式

董路评国足2-2巴林:我们以后只用找2个人就行 这是赢球的唯一方式

风过乡
2026-11-18 07:03:25
腾讯发文:已到生死存亡时刻,未来不一定要那么多管理岗位,需要一半人去打新的战役

腾讯发文:已到生死存亡时刻,未来不一定要那么多管理岗位,需要一半人去打新的战役

21世纪经济报道
2026-11-17 07:38:59
申花组无敌战舰冲冠!引多名强援加盟,与巴西前国脚传闻,中超首冠就在明年?

申花组无敌战舰冲冠!引多名强援加盟,与巴西前国脚传闻,中超首冠就在明年?

蜡笔小新爱体育
2026-11-17 17:51:55
2026-11-18 08:23:00
快科技 incentive-icons
快科技
一起关注每日科技热点
133004文章数 261276关注度
往期回顾 全部

数码要闻

Framework无线触控板键盘开放预订:99美元,集成120Hz精密触控板

头条要闻

中俄美元首首次三方"面谈" 俄方:现代史上前所未有

头条要闻

中俄美元首首次三方"面谈" 俄方:现代史上前所未有

体育要闻

东契奇心仪之人 三年后拿着底薪站到他身旁

娱乐要闻

刘欢有6位生死之交,个个可托付后事

财经要闻

全民抛售AI,市场转折点或已悄然临近

科技要闻

离职后首份声明!黄仁勋认错愿回归

汽车要闻

奕境X9纯电版信息曝光 将于11月27日广州车展上市

态度原创

时尚
健康
手机
教育
本地

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

医生眼里"很伤腰"的椅子,很多人天天坐

手机要闻

iPhone Duo屏幕开裂事件再起波澜 苹果被指施压折叠屏供应商撤回声明

教育要闻

“健康第一”,钱塘区2026年中小学生田径运动会火热开幕

本地新闻

乌兰察布:以前种土豆,现在种Token

无障碍浏览 进入关怀版