![]()
![]()
![]()
![]()
![]()
![]()
![]()
![]()
刷到英伟达DGX Station GB300的一些资料,简单介绍几个点
1️⃣ 先说功耗
整机最高 1600W,要 20A 电路。桌面形态,但部署条件更像专业 AI 设备。普通办公室插座长期满载容易瓶颈。
2️⃣ 748GB 内存,只有 252GB 高速 GPU 侧 252GB HBM3e,带宽 7.1TB/s;CPU 侧 496GB LPDDR5X,带宽 396GB/s。模型能完整放进 HBM,速度拉满;超过就溢出到低速内存,速度会掉。
3️⃣ 双机互联才是重点 两台用两根 400G DAC 线直连,不用交换机,NCCL 带宽 98GB/s,接近线速。内存池合并到 1,496GB。GLM-5.2 单机 32 路 139 token/s,双机 1,525 token/s,提升约 11 倍。不过官方只支持两台直连。
4️⃣ 单用户聊天不是主场 Exxact 测试单台跑 256 个并发智能体,零失败,第 256 个和第 1 个一样稳。更适合批量跑代码分析、自动化任务、多智能体协同。
价格:Exxact 上架起售价 94,930 美元,约 63.8 万人民币。
几个反差点:748GB 但只有 252GB 跑满速,桌面形态但要 20A 电路,单机适合跑上百个智能体,两台串联性能翻十倍。
有在用类似设备的吗?实际跑起来怎么样?
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.