北京
DeepSeek本地化部署是当下热门的应用方式，它除了可以避免服务器繁忙之外，本地化运行还能够极大程度保护用户的隐私。
目前DeepSeek有众多版本，其中模型容量差距可达数十倍，到底该如何选择适合自己硬件的版本来部署，一直是用户比较头疼的问题。
今天我们就使用RTX 5090 D、RTX 5080、RTX 5070 Ti以及RTX 5070，共4张RTX 50系显卡来实测一下，不同显卡之间的性能差距。
测试使用LM Studio，无加速框架进行对比，完全凭借显卡自身算力。毕竟不同加速框架对不同厂商的显卡优化不同，测试变量太大。
这里我们首先选择【DeepSeek R1 Distill Qwen 32B】模型。
将GPU卸载拉满，这意味着DeepSeek模型将完全由GPU进行计算，其他参数默认即可。由于AI模型每次回答都会有所区别，这里设置3个问题，取平均值。
另外需要注意的是，我们设置的问题本身框定了范围，让AI在思考回答时不会过于发散。如果问“什么是哲学”这类无范围的问题，每次回答的结果将无法量化。
在32B模型中，可以看到RTX 5090 D的tok/sec还是很快的，毕竟作为本代旗舰产品，32GB大显存本就适合AI训练。
但在RTX 5080进行测试时便出现了问题，可以看到RTX 5080在回答问题时，思考时间达到了348秒，也就是将近6分钟。
这里需要提及一下，不同模型对于显存需求的换算大致有个公式，即：
（32）B÷2×1.15=显存
所以32B模型需要的最低显存，为18.4GB左右，这已经超出了RTX 5080的16GB显存。而这溢出的2GB显存，则由内存补足。
但对于模型来说，爆显存之后不管“外借”多少内存，都将按照最慢的速度运算。
实测同事的RTX 2060，在运行32B模型时，即便“外借”的内存更多，但思考时间同样为5分钟左右。
根据上面的公式，这里可以推测出8B模型大约仅需要4.6GB显存，即可满足运算需求。
从结果来看，tok/sec与显卡显存及算力有较大关系，并且呈现出应有的性能递进关系。而first token和思考时间没有太大规律可循，下面每张显卡的tok/sec成绩我们进行了柱状图汇总，方便大家看的更清晰。
对于大显存高算力的RTX 5090 D毫无意外拔得头筹，而显存相同RTX 5080及RTX 5070 Ti差距不大。根据不同显卡之间的AI算力来看：
RTX 5090 D（AI TOPS：2375）；
RTX 5080（AI TOPS：1801）；
RTX 5070 Ti（AI TOPS：1406）；
RTX 5070（AI TOPS：988）
至少DeepSeek大语言模型对于AI算力的要求并不是最重要的，而是显存。只要显存足够大，在推理运算时即有压倒性的优势。
最后总结一下本次DeepSeek测试的要点，供大家快速记忆：
1. DeepSeek大语言模型对GPU的需求：显存＞算力
2. 模型对显存要求的换算公式（x）B÷2×1.15=显存
3. 当显存无法满足模型最低需求，多少AI算力都无济于事
4. 思考时间与GPU并无绝对关系，而是问题的开放性
本次测试选择的LM Studio，目的就是为了使用显卡未经加速的真实算力。不过现在有很多针对不同架构的加速框架，甚至笔记本也能跑满血大模型，大家在自己使用时不妨自行尝试。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
