网易首页 > 网易号 > 正文 申请入驻

9450美元12张V100,跑满DeepSeek全部专家

0
分享至

一位律师把自己的私人AI服务器从8张二手英伟达V100扩到了12张,现在能在4位NVFP4精度下跑满DeepSeek V4.1 Flash的每一个专家。代码场景最高184 tokens每秒,长文档开始回答的时间大约是过去的一半。


这套配置花了9450美元。他的说法是:单请求解码比公开的DGX Spark整机更快,而价格只有三台DGX Spark的一半。

这位叫Nick Mermiges的律师,升级路线有点像三部曲。最初是8张32GB卡,后来加过内存、做过修补,这次干脆上了第三块V100板,每板四张,凑齐12张。

为什么非要第三块板?原来的8张卡能凑出254 GiB,但所选模型在英伟达NVFP4格式下的专家需要278.9 GiB。之前的办法是把所有专家以2位精度塞进卡里,再把最常用的5949个、约38.7%的专家换成NVFP4,直到把卡填满。

现在不一样了:全部15360个专家都能以完整形态待在卡上。他在GitHub仓库里的说法是“没有一个被进一步压缩”。在更长的自述里,他表示专家数值“与DeepSeek官方发布的一致”,不过模型的其他部分仍使用紧凑形式。

V100有个绕不开的短板,他自己也点明了:这代卡没有FP4或FP8张量核心。每一个NVFP4数字都得先在软件里解包,转成半精度。紧凑专家依然划算,原因是“卡读的字节更少,而不是算得更快”。这也解释了一张2018年的卡为什么能跑Blackwell时代的格式。

模型各层被分到三块板上,这次是0–13、14–27、28–39,每块板上的区间再分给板内四张卡。板内四卡走英伟达的NVLink高速互联,板与板之间的交接则要穿过主机的PCIe,经过两个独立的PCIe交换机。

前两块板共用一颗PEX88096交换机,它们之间的交接留在交换机内部;第三块板挂在一颗单独的PLX 8749后面,于是第二次交接还得跨过主机的PCIe桥,延迟因此增加。

折腾这些是有回报的。每张卡的功耗上限从150 W提到175 W,频率上限从1522 MHz降到1452 MHz,性能和精度都有肉眼可见的提升。

他的实测数据:256K上下文下,首个代码token耗时58秒,比上次升级后的108.4秒快了近一倍。超过32K之后,提示读取“大约每秒4500个token”,是最初那套配置约每秒2200个token的两倍多——当然,更高的功耗上限大概也贡献了一部分。

代码解码在1K上下文下快了23%,但32K及以上基本没有实际收益。所以真正的改善,是等第一个token的时间变短了。

他也试过把每张卡推到200 W跑一天,结果“主机在四个长对话同时进行时挂了一次”,功耗大概确实过头了。他还做了四项优化——落盘保存的对话存储、更精简的分段交接、更紧的专家打包、精确的四卡求和算术——但都因为没达标而被关掉。

多请求并发是常见提速手段。三个128K请求同时跑,代码场景合计约360 tokens每秒,法律场景213。不过他的原话是:“这不是批处理解码引擎;请求数超过分段数,收益很小。”

下一步他打算研究批处理解码,在Reddit上写的是“Sparks有而我想要的那一样东西”。再往后是把对话存储打开,让一个案子的文档能扛过重启。

他也承认,这些数字并不能证明“实际使用中的回答质量”。但这套机器从周一起已经是他的默认DeepSeek设备,他说这是第一个“用起来像Opus 4.6”的模型。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
特朗普称不支持“台独”引发岛内震动,台湾网民:“早点统一吧!”

特朗普称不支持“台独”引发岛内震动,台湾网民:“早点统一吧!”

环球网资讯
2026-11-21 07:06:39
不匹配的高度,配得上谁?

不匹配的高度,配得上谁?

薇微笑语
2026-11-20 16:13:00
上海男子车祸后CT显示无大碍,回家后收到医生电话:快回来,AI意外揪出无症状肠癌;网友直呼太神奇:这才是AI存在的意义!

上海男子车祸后CT显示无大碍,回家后收到医生电话:快回来,AI意外揪出无症状肠癌;网友直呼太神奇:这才是AI存在的意义!

犀利辣椒
2026-11-20 20:08:23
APCE上的温情一幕,让人好感动!

APCE上的温情一幕,让人好感动!

低调看天下
2026-11-20 15:46:04
说出来你都不敢信,美国总统飞一趟中国,花出去的钱足足能买3辆全新的劳斯莱斯!

说出来你都不敢信,美国总统飞一趟中国,花出去的钱足足能买3辆全新的劳斯莱斯!

扶苏聊历史
2026-11-20 15:37:24
陕西23岁女大学生,被黑人男友传染艾滋,事后称很爱他我不后悔

陕西23岁女大学生,被黑人男友传染艾滋,事后称很爱他我不后悔

妙妙奇思物语
2026-11-20 14:58:41
“80后”高校副校长,落马!

“80后”高校副校长,落马!

双一流高校
2026-11-21 01:41:21
上海爷叔铁了心娶小35岁女子,三次将子女告上法庭!家人:她从事过特殊行业,动机不纯;爷叔:她对我一片真心,我同情她

上海爷叔铁了心娶小35岁女子,三次将子女告上法庭!家人:她从事过特殊行业,动机不纯;爷叔:她对我一片真心,我同情她

大风新闻
2026-11-21 09:12:09
男子让好友睡自己妻子,遭好友拒绝,愤怒下将好友妻子和娃杀死

男子让好友睡自己妻子,遭好友拒绝,愤怒下将好友妻子和娃杀死

夜话奇谭
2026-11-20 14:15:49
理想员工称“宁德时代一天寄来3封催款邮件”,上月理想MEGA部分订单无法按约交付,8月已从宁德时代前五大客户中消失

理想员工称“宁德时代一天寄来3封催款邮件”,上月理想MEGA部分订单无法按约交付,8月已从宁德时代前五大客户中消失

青科新闻
2026-11-20 14:08:31
超级周期即将来临,一定要守住自己口袋里的现金

超级周期即将来临,一定要守住自己口袋里的现金

枫冷慕诗
2026-11-20 13:35:28
余承东紧急纠正发布会不当言论:现在还是L2 开车不能睡觉!

余承东紧急纠正发布会不当言论:现在还是L2 开车不能睡觉!

快科技
2026-11-20 18:40:09
特朗普点赞深圳,称美国一些城市“脏得让人恶心”

特朗普点赞深圳,称美国一些城市“脏得让人恶心”

极目新闻
2026-11-21 09:44:24
纳指尾盘跌幅扩大至5%

纳指尾盘跌幅扩大至5%

财联社
2026-11-21 04:48:07
明年1299万大学生毕业再刷纪录,中国正在批量生产"用不上"的大学生

明年1299万大学生毕业再刷纪录,中国正在批量生产"用不上"的大学生

老郭在学习
2026-11-20 16:10:45
西药直达病灶,联邦通信委员会禁止三大运运商获取美国电话号码

西药直达病灶,联邦通信委员会禁止三大运运商获取美国电话号码

凡人学电脑
2026-11-20 23:39:35
继黄仁勋被搞后,AMD总裁也被曝出丑闻?长期和俄罗斯男性接触,背后有克格勃背景

继黄仁勋被搞后,AMD总裁也被曝出丑闻?长期和俄罗斯男性接触,背后有克格勃背景

小徐讲八卦
2026-11-20 16:21:57
现场情绪激动!英伟达联合创始人哽咽发言:狠批黄仁勋背叛公司价值

现场情绪激动!英伟达联合创始人哽咽发言:狠批黄仁勋背叛公司价值

快科技
2026-11-20 15:31:06
“爸爸我爱你”为什么也会敏感违规?

“爸爸我爱你”为什么也会敏感违规?

历史总在押韵
2026-11-20 18:32:28
中美俄发布和平宣言, 里面有句公道话,是否对杜特尔特产生影响?

中美俄发布和平宣言, 里面有句公道话,是否对杜特尔特产生影响?

墨兰史书
2026-11-21 03:20:04
2026-11-21 10:36:49
Ping值焦虑
Ping值焦虑
有态度网友ytd
268文章数 113关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

本地
教育
房产
手机
公开课

本地新闻

乌兰察布:以前种土豆,现在种Token

教育要闻

曾经“感动中国”的庞众望完成清华大学博士论文答辩,本人发声:将继续潜心钻研,在科研探索的道路上不断前行

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版