一位律师把自己的私人AI服务器从8张二手英伟达V100扩到了12张,现在能在4位NVFP4精度下跑满DeepSeek V4.1 Flash的每一个专家。代码场景最高184 tokens每秒,长文档开始回答的时间大约是过去的一半。
![]()
这套配置花了9450美元。他的说法是:单请求解码比公开的DGX Spark整机更快,而价格只有三台DGX Spark的一半。
这位叫Nick Mermiges的律师,升级路线有点像三部曲。最初是8张32GB卡,后来加过内存、做过修补,这次干脆上了第三块V100板,每板四张,凑齐12张。
为什么非要第三块板?原来的8张卡能凑出254 GiB,但所选模型在英伟达NVFP4格式下的专家需要278.9 GiB。之前的办法是把所有专家以2位精度塞进卡里,再把最常用的5949个、约38.7%的专家换成NVFP4,直到把卡填满。
现在不一样了:全部15360个专家都能以完整形态待在卡上。他在GitHub仓库里的说法是“没有一个被进一步压缩”。在更长的自述里,他表示专家数值“与DeepSeek官方发布的一致”,不过模型的其他部分仍使用紧凑形式。
V100有个绕不开的短板,他自己也点明了:这代卡没有FP4或FP8张量核心。每一个NVFP4数字都得先在软件里解包,转成半精度。紧凑专家依然划算,原因是“卡读的字节更少,而不是算得更快”。这也解释了一张2018年的卡为什么能跑Blackwell时代的格式。
模型各层被分到三块板上,这次是0–13、14–27、28–39,每块板上的区间再分给板内四张卡。板内四卡走英伟达的NVLink高速互联,板与板之间的交接则要穿过主机的PCIe,经过两个独立的PCIe交换机。
前两块板共用一颗PEX88096交换机,它们之间的交接留在交换机内部;第三块板挂在一颗单独的PLX 8749后面,于是第二次交接还得跨过主机的PCIe桥,延迟因此增加。
折腾这些是有回报的。每张卡的功耗上限从150 W提到175 W,频率上限从1522 MHz降到1452 MHz,性能和精度都有肉眼可见的提升。
他的实测数据:256K上下文下,首个代码token耗时58秒,比上次升级后的108.4秒快了近一倍。超过32K之后,提示读取“大约每秒4500个token”,是最初那套配置约每秒2200个token的两倍多——当然,更高的功耗上限大概也贡献了一部分。
代码解码在1K上下文下快了23%,但32K及以上基本没有实际收益。所以真正的改善,是等第一个token的时间变短了。
他也试过把每张卡推到200 W跑一天,结果“主机在四个长对话同时进行时挂了一次”,功耗大概确实过头了。他还做了四项优化——落盘保存的对话存储、更精简的分段交接、更紧的专家打包、精确的四卡求和算术——但都因为没达标而被关掉。
多请求并发是常见提速手段。三个128K请求同时跑,代码场景合计约360 tokens每秒,法律场景213。不过他的原话是:“这不是批处理解码引擎;请求数超过分段数,收益很小。”
下一步他打算研究批处理解码,在Reddit上写的是“Sparks有而我想要的那一样东西”。再往后是把对话存储打开,让一个案子的文档能扛过重启。
他也承认,这些数字并不能证明“实际使用中的回答质量”。但这套机器从周一起已经是他的默认DeepSeek设备,他说这是第一个“用起来像Opus 4.6”的模型。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.