这可能是目前最有性价比的Deepseek部署方案

前情提要

在今年Deepseek爆火的时候，我们花了两篇文章来讲解Deepseek的部署教程和部署Deepseek的一些方案。

时至今日，各位还有对Deepseek的使用热情嘛？事实证明能留下来愿意看这篇文章的，基本都真的是有需求本地部署的人。那么今天我就把剩下目前我认为最有性价比的70B部署方案分享给大家。顺便也把一些有用的工具放给各位。

如果你还不会部署Deepseek，那么请戳下面图片跳转教程：

如果你想用纯CPU来部署完整版的Deepseek，可戳以下图片跳转教程：

时至今日

在之前的教程里，我们已经聊了部署完整Deepseek 671B的教程，也谈及未来要部署70B的想法。时至今日，部署671B或者70B Deepseek还有意义吗？

严格意义来说，671B的意义已经小了很多了，而70B等更小的模型反倒显得越来越有市场。自Deepseek把AI模型部署的门槛打下来之后，越来越多小模型诞生，比如谷歌的Gemma 3 28B，阿里的Qwen3 238B。这些模型不仅兼顾了准度，还能提供了更小的部署体积。

因此我认为，各位也没必要一股脑地追求部署超大模型，只要中国的AI产业能继续蓬勃发展，准备好64GB-128GB以内的空间，未来我们应该会有更多更优秀的模型使用。当然，如果你觉得准备一个肌肉感十足的电脑随时应对部署，也可以。毕竟有一台放着十几块旗舰显卡的电脑确实很酷。

我认为最有性价比的部署平台

其实说实话，虽然说是“最优性价比”，但是性价比来的有风险。不久前，NVIDIA决定CUDA 12.9将停止支持Maxwell/Volta/Pascal系列显卡。

这也意味着从GTX 900到GTX 10系列显卡都将不会有新的技术支持，GTX家族即将彻底退出历史舞台。而恰巧目前有性价比的显卡正是这些即将退出历史的显卡。那既然如此，我还是分为长久配置和长期使用不改的配置来推荐。当然，有难点的地方我也会做好教程，各位自行选择。

部署模型：任意70B或以下模型

部署显卡数量：低于4张（优选3卡+1亮机，可用7槽主板）

平台特点：优先显卡运行。

平台选择

CPU：

CPU选择方面是跟主板的，只要能提供多一点PCIe通道都可以。那首选就是E5起步了。两个方向，一个是单核高，换来更快的模型加载速度，一个是内存速度快，换更快的长期使用交换时间。因此如果是前者，推荐E5 V3系列的CPU（如E5-2698BV3），后者则是选择E5 V4（E5-2683 V4），保证内存频率支持更高。目前大部分E5 CPU都在百元不等。随意选择。

有人说为什么不选择线程撕裂者呢？一个是主板不好找，而是故障率真的高，动不动少根内存支持，特别烦。我建议有耐心的人折腾。

主板：

CPU固定，主板自然是跟着一套的，目前很多X99/C612主板价格都很便宜。只要支持4卡双槽交火的都可以选择。X99-E WS自带PLX芯片，所以PCIE传输上不用吃CPU通道少的亏。当然你也可以选择寨板，就是寨板的支持如何就不好说了。

内存：

同理，目前DDR4 ECC REG 32G内存和部分比较杂牌的DDR4 32G内存价格差距不大，一个200，一个基本250-300出头。选了ECC的话，四根虽然省下400块钱，但是要选择一个四卡交火的C612主板，价格不是贵的一点点。虽然说缺少ECC，但是从实际使用来看，大部分电脑真的随随便便用几个月不关机没什么大故障。

当然，ECC更多的功能是纠正小错误避免雪崩效应。但我个人为，如果你只是像我一样是家用级别，需求其实和一台家庭NAS差不多，如果你给自己的家庭NAS上了ECC，那就推荐ECC，如果不是，就和我家里两台NAS一样都是无ECC平台吧！

其余产品：

机箱随意（ATX 7槽即可），散热随意，硬盘1T起步，电源推荐1000W以上。如果你多人使用，需要部署多种模型，那推荐1200W以上。因为大部分单模型情况下只有单卡在运行。所以不需要太高级的电源。全新电源可以找JD拉最低价格，也可以咸鱼找矿龙矿鑫谷等。不需要支持最新技术，反正大部分都是8PIN，记得保证至少有6个8Pin就行。

前期平台成本：

CPU：122

主板：841.96

内存：253.81*4

主硬盘：300（1T任选）

散热：50（风冷淘宝任选）

电源：509

附属亮机卡：40（R5-240，还带DP）

ATX机箱：150（任选）

合计：3028.2

①：性价比最高的配置

Radeon Instinct MI系列是AMD的计算卡。目前市面上唯一流通最广泛的是MI50系列。这张卡采用的是与AMD Radeon VII（镭7）同款核心。因此必然在矿场内血战过。现如今从哥布林洞解放，又要负责给人跑AI和涩图，真是太残忍了。这也造就了这张卡的价格低廉。咸鱼大部分只要600出头甚至更低，+40一个风扇640搞定。淘宝其实和咸鱼类似，只是多了几个月保修。三张卡那么只需要2000以内就可以搞定，搭配先前主机，5000完成70B最有性价比的主机配置搭建。

MI50和NVIDIA的计算卡不同，自带一个MINI DP接口，外加继承了AMD特有的刷BIOS改卡宿命，因此可以通过刷BIOS改成Radeon PRO VII，实现计算卡到专业卡的改名，输出视频。因此对于想要在Windows环境下使用的用户来说非常友好，还能省下一张亮机卡（因为只要三卡，极限下还可以换掉主板，还能便宜几百块） 。

MI50目前分为两个版本，一个是真正的MI50（左），一个是Radeon VII套壳成的MI50（右）。严格意义来说，两张卡都可以是MI50，但是前者带ECC，刷BIOS比较麻烦，后者因为不带ECC，所以可以随时刷BIOS改卡。

Windows下使用

如何刷BIOS：

https://m.bilibili.com/video/BV1Hh4y1m72q

这里我们直接看已有的教程，避免重复造轮子。

工具包：

https://pan.baidu.com/s/1wM5EZ21kaX7eHsA-9qWNEw?pwd=MI50 提取码: MI50

当然，如果你看B站现在有很多人教你甚至不用刷BIOS在Windows使用，这些我认为属于炫技，或者说在Windows上使用本身就叫抽象。因此我就不多赘述这里相关的内容了。

Linux下使用

相比较之下，Linux使用就需要点技巧。那么这里就假定你至少会使用一点Linux，能写，能看懂点简单的脚本，会用Console操作。那么我也已经做好了脚本，大家自行通过脚本内的内容进行切分提取然后运行就行。核心的驱动安装部分就一个部分，其他都是功能性安装。建议搭配先前Ollama Linux安装一起服用。

https://pan.baidu.com/s/1lz0GKRpK-2aR7ev4CJq2CA?pwd=MI50 提取码: MI50

AMD版本的NVIDIA-SMI：amdgpu-top（可以用apt-get安装）

①.5：性价比最高的配置额外版

如果你在前面搜索了MI50，肯定可以看到有一张MI50 32G版。严格意义来说，MI50 32G版的性价比更高，目前大部分都是950-1000多点出头。而且同价格能多给你16G显存，不要白不要。但这张卡带显示输出的版本还没有比较好的研究思路，大部分都是只能强刷为Radeon Pro Vega II，虽然说这些卡核心相同，但是启动的SP数量不同。因此在Windows上刷还是需要点技术。但如果你在Linux上使用就没有任何顾虑了。直接用原版BIOS启动安装，搭配亮机卡不需要做任何更改。我建议是用Linux就32G性价比高，如果想要Windows兼顾一点游戏能力或者别的能力，就16G吧。

②：性价比不高但通用版本

如果想要更通用，那毫无疑问只能选择NVIDIA了。相比之下NVIDIA的问题就少很多，无论是在Windows还是Linux上，驱动都是现成的。甚至都会自动帮你打驱动，因此就是多花钱少办事的环节。

那么选择来说，P100 16G就是最好的选择。虽然说性能比MI50差了不止一点点，显存也小。但好在CUDA生态中，只要12.9版本还没推出，新软件没光速更新，那么都还能使用。

当然你会听到最近很多说V100不到600的宣传。事实是这些V100都是SMX版本。

如果你想要转接到正常的PCI-E版，不仅需要买转接卡，还需要定制散热。一般老版现成的套件价格在1000以上，算下来单卡成本已经1600了。而目前还有一批开源方案，从原来的70已经涨到260了。还是不带散热需要额外定做散热的方案。就算以目前能见到的公版散热为例，也要200块。然后加上改装，人工和耗时，算100-200工本费，可能也要在1200-1300。对比P100好了不少，但是性能收益还是不及MI50。只能说有点本末倒置了。还是期待CUDA 12.9真的下放之后，大批的V100，P100流入市场吧。

③：性价比很低但在当前环境下最通用的版本

其实这个答案很明显了，目前为了保证通用性，最好的就是RTX 2080 Ti 22G版。但这里提供一个可能也不错的选择，就是TITAN RTX。毕竟双卡44G给70B模型很吃紧，双卡48G就会好点。

目前TITAN RTX咸鱼已经跌倒3500了。论信仰来说非常不错。性能也比RTX 2080 Ti强一点。而且TITAN的支持会比Geforce卡长一点，算是后期就算卖也不会亏太多的选择。

不算很准但好用的显卡性价比表

最后，这里放上一个我做的显卡性价比表。表格中包含了从Maxwell到RTX 30系的理论性能（Token/s）、所需显卡数量、合计价格和性价比系数（越高越好）。

（小程序打开完整版）

最后

这大概会是最后一篇AI部署相关内容的文章了，除非以后又有新的内容，不然大概就这样了。至于各路什么KT，vLLM优化显存，稀疏模型转稠密之类的技术，还是等他们实际应用到常见的软件之后再说吧。如果还有什么新内容更新，我们再聊，拜拜ヾ(•ω•`)o。