IT时代网11月21日消息,一位律师网友近日在Reddit社区发帖,斥资9450美元(约合63239元人民币)使用12张二手英伟达V100显卡搭建私人AI服务器,本地运行DeepSeek-V4.1-Flash,集群最高吞吐量达到每秒184个词元。
硬件部分,该网友使用12张英伟达Tesla V100 SXM2 32GB显卡,通过NVLink与PCIe组成可协同推理的本地AI集群,整套硬件采购价约9450美元。系统采用3个流水线阶段、每阶段4卡张量并行的结构,运行DeepSeek-V4.1-Flash并采用4-bit NVFP4量化,每个专家被压缩至约15360个参数,使12张V100能分别承载模型中的专家分片。
性能测试显示,在单请求、单流场景下,该服务器的代码生成速度比已公开的4台英伟达DGX Spark组合快约15%至45%,普通文本生成速度也更高,128K文件读取约需28秒。
整套系统成本约9450美元,约为三台DGX Spark组合价格的一半。代价是功耗最高可达约2100瓦,且噪音较大,并不适合普通办公环境。
![]()
注:本文配图由AI生成。本文综合自IT之家等,文中包含AI辅助创作的内容。
编辑:林一舟
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.