网易首页 > 网易号 > 正文 申请入驻

12张二手英伟达V100:律师自建AI集群跑DeepSeek,最高每秒184个词元

0
分享至

IT之家 11 月 21 日消息,律师 u/TumbleweedNew6515 昨日(11 月 20 日)在 Reddit 社区发帖,斥资 9,450 美元(IT之家注:现汇率约合 63,239 元人民币)使用 12 张二手英伟达 V100 显卡搭建私人 AI 服务器,本地运行 DeepSeek-V4.1-Flash,集群最高吞吐量达到每秒 184 个词元。


在硬件部分,该律师使用 12 张英伟达 NVIDIA Tesla V100 SXM2 32GB 搭建,通过 NVLink 与 PCIe 组成可协同推理的本地 AI 集群,整套硬件采购价约 9,450 美元(现汇率约合 63,239 元人民币)。

这套系统采用 3 个流水线阶段(PP3)× 每阶段 4 卡张量并行(TP4)的结构,系统运行的是 DeepSeek-V4.1-Flash,并采用 4-bit NVFP4 量化。发帖者称,每个专家被压缩至约 15,360 个参数,使 12 张 V100 能分别承载模型中的专家分片。

配置3× DGX Spark(TP3、SGLang、MXFP4 专家)4× DGX Spark(TP4;三堆叠)12× V100(本次配置)单请求,代码未发布125(SGLang)/ 138(TensorFold 4.0 bpw)/ 136(vLLM + DSpark)153–184 单请求,普通文本38–5179–8883–95 预填充,长提示词约 2,0003,100–3,300(TensorFold)/ 4,900–5,000(SGLang,真实文本)/ 8,500(vLLM + DSpark,32K–128K)4,500–4,700 多请求4 个流合计 8532 个流时 290(TensorFold)/ 16 个流时 340–570(SGLang,从散文到结构化)3 个流时 344–443;它不是批量解码引擎上下文配置为 256K1M配置为 524K

性能方面,该网友的测试结果如下:

上下文长度首个 token(冷启动)预填充速度(tok/s)代码法律普通文本三个代码请求合计首个 token(文档已缓存)1K0.7 秒1,567184102864430.2 秒8K2.5 秒3,26717693904210.2 秒32K7.3 秒4,47817692954040.3 秒64K13.9 秒4,69715793833640.3 秒128K28.1 秒4,67015793863600.4 秒256K58.0 秒4,51815392853440.6 秒

这位用户称,在单请求、单流场景下,该服务器优于已公开的 4 台英伟达 DGX Spark 组合,代码生成速度快约 15% 至 45%,普通文本生成速度也更高。

整套系统成本约 9,450 美元(现汇率约合 63,239 元人民币),约为三台 DGX Spark 组合价格的一半;不过,其代价是功耗最高可达约 2,100W,且噪音较大,并不适合普通办公环境。


参考

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
全国卫生大会传出一个极不寻常的信号:医院自己能不能活下去,终于被摆到了台面上

全国卫生大会传出一个极不寻常的信号:医院自己能不能活下去,终于被摆到了台面上

医脉圈
2026-11-02 12:37:32
又瘦了!张子宇17分钟14+7率队二连胜 国青队友:她的进步太大了

又瘦了!张子宇17分钟14+7率队二连胜 国青队友:她的进步太大了

颜小白的篮球梦
2026-11-21 07:32:25
一旦恢复该规定,中国结婚率或将大幅上涨,离婚率也会有所下降

一旦恢复该规定,中国结婚率或将大幅上涨,离婚率也会有所下降

福建睿平
2026-10-28 07:23:25
终于明白为啥年轻人说最近的就业环境有点可怕了!评论区一针见血

终于明白为啥年轻人说最近的就业环境有点可怕了!评论区一针见血

另子维爱读史
2026-11-16 21:52:15
印度小伙来中国,与中国姑娘交往2个月被踹,姑娘:我现在全身病

印度小伙来中国,与中国姑娘交往2个月被踹,姑娘:我现在全身病

悬案解密档案
2025-05-21 10:46:02
“最火时被下架”的10部爆剧,每部都是意难平,全部看过算我输!

“最火时被下架”的10部爆剧,每部都是意难平,全部看过算我输!

糺缦缭虹霓
2026-11-20 13:06:05
张学良手下1955年授衔的25人中,最有名的五位分别是谁?

张学良手下1955年授衔的25人中,最有名的五位分别是谁?

大运河时空
2026-11-21 09:30:05
拒逆转!文班32+11+3,大洛23+4+3,湖人很无奈:西部第一易主

拒逆转!文班32+11+3,大洛23+4+3,湖人很无奈:西部第一易主

篮球大视野
2026-11-20 12:02:24
星芒总经理刘赫:OSTA O1 PRO的16GB版已全平台售罄!远超预期

星芒总经理刘赫:OSTA O1 PRO的16GB版已全平台售罄!远超预期

快科技
2026-11-21 12:35:12
2025辽宁死亡第一,这个不敢造谣,任何人上网都能查

2025辽宁死亡第一,这个不敢造谣,任何人上网都能查

北京作家编剧肥猪满圈
2026-11-18 17:23:20
当下 “发不出工资” 的 4 个行业!比想象中还严重!

当下 “发不出工资” 的 4 个行业!比想象中还严重!

职场资深秘书
2026-11-19 16:08:33
终于知道男生长得帅能带来多少好处!看网友分享目瞪口呆,大为震撼

终于知道男生长得帅能带来多少好处!看网友分享目瞪口呆,大为震撼

夜深爱杂谈
2026-11-19 20:44:12
美媒:“中国版黄貂鱼”现身,或是中方第一款舰载加油机,可部署在076上,为歼-35舰载机加油

美媒:“中国版黄貂鱼”现身,或是中方第一款舰载加油机,可部署在076上,为歼-35舰载机加油

蓝星杂谈
2026-11-21 09:35:16
上午小雪冻死牛,下午小雪暖烘烘,22日小雪,今年冬天是早是晚

上午小雪冻死牛,下午小雪暖烘烘,22日小雪,今年冬天是早是晚

一口娱乐
2026-11-21 00:46:35
87-93惨败!浙江广厦输球仅一夜! 北京首钢传来主帅李楠新消息,广厦主帅王博说的很实在,早有打算

87-93惨败!浙江广厦输球仅一夜! 北京首钢传来主帅李楠新消息,广厦主帅王博说的很实在,早有打算

篮球热嗖
2026-11-21 10:22:42
又一个矛盾文学奖得主抄袭!

又一个矛盾文学奖得主抄袭!

智识漂流
2026-11-15 19:54:43
一位博主,因拒不删稿被活活打死

一位博主,因拒不删稿被活活打死

家传编辑部
2026-10-27 14:08:29
利库德集团提组阁条件,要求内塔尼亚胡独任总理并支持打击伊朗

利库德集团提组阁条件,要求内塔尼亚胡独任总理并支持打击伊朗

界面新闻
2026-11-21 11:51:25
中国工程院第九届院士增选政策委员会亮相,李仲平院士担任主任

中国工程院第九届院士增选政策委员会亮相,李仲平院士担任主任

澎湃新闻
2026-11-19 23:32:42
黄仁勋出轨最讽刺的是:他一边出轨,一边还在讲和妻子的爱情童话

黄仁勋出轨最讽刺的是:他一边出轨,一边还在讲和妻子的爱情童话

慕姑娘的读行生活
2026-11-18 13:45:19
2026-11-21 13:20:49
IT之家
IT之家
爱科技,爱这里 - 前沿科技人气平台
380578文章数 607744关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

艺术
家居
亲子
旅游
手机

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

家居要闻

2026建博会(广州) 公装联探展交流活动

亲子要闻

宝宝必看的5个启蒙动画,豆瓣评分都是在9.0以上

旅游要闻

青岛冬日赏鸥地图|沿着海岸线,赴一场海鸥之约

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

无障碍浏览 进入关怀版