四川
问：想在企业内部署大模型，7B、13B、70B到底怎么选？消费级显卡能用吗？预算有限的情况下怎么配？
答：7B起步够用，13B兼顾效果和成本，70B量力而行。大部分中小企业的实际需求，7B模型+1张RTX 4090就能满足。
下面从模型参数量、并发用户数、内存存储三个维度把配置讲清楚。
一、模型参数量决定GPU选型
模型越大，需要的显存越多。以下是常见模型尺寸的显存需求和推荐GPU配置：
几点说明：
FP16 vs INT4：FP16是半精度推理，效果最好但显存大。INT4是4位量化，显存减少60-70%，效果损失通常在2-5%以内。企业部署推荐INT4起步。
RTX 4090能跑7B：消费级显卡24GB显存足够跑7B的FP16或13B的INT4。性价比高，但缺少ECC内存，不适合7×24小时高负载生产环境-13。
A100是生产首选：40GB版本性价比最高，80GB适合70B。华为昇腾910B（64GB显存）可作为国产替代，适合有信创要求的企业。
二、并发用户数决定GPU数量
单张GPU的并发能力有限。模型推理时每个并发请求都占用显存（KV Cache），并发越多，显存压力越大。
“并发用户数”指同时发起请求的用户数。如果总用户100人但同时在线的通常不超过15人，1张卡就够了。大部分中小企业的内部部署，15-30并发已经够用。
三、容易被忽略的内存和存储
很多人只盯着GPU选型，结果服务器内存不够、硬盘太慢，推理速度照样上不去。
内存（RAM）：至少是GPU总显存的2倍。7B方案建议64GB，13B方案128GB，70B方案256GB以上。内存不够会导致模型加载和KV Cache交换变慢，响应延迟翻倍。
存储：必须用NVMe SSD。模型文件本身就几十到上百GB，用普通SATA SSD加载要等1-2分钟，NVMe只要10-15秒。
系统盘：500GB NVMe SSD
数据盘：1-2TB NVMe SSD（存模型文件、知识库数据、日志）
知识库包含大量文档时，额外加4TB+ HDD做冷存储
CPU：推理主要靠GPU，但数据预处理、文档解析、向量编码都靠CPU。7B方案建议32核以上。
四、中小企业两套务实方案
方案A：入门级（7B模型，5-8万）
GPU：1×RTX 4090 24GB
CPU：16-24核
内存：64GB
存储：500GB NVMe SSD+2TB NVMe SSD
适合：50人以下团队，问答+文档处理
方案B：标准级（13B模型，15-20万）
GPU：1×A100 40GB
CPU：24-32核
内存：128GB
存储：500GB NVMe SSD+2TB NVMe SSD
适合：100人以下团队，复杂推理任务
不建议中小企业一上来就上70B。4张A100的硬件成本60万起步，加上机房、电费、运维，TCO一年至少80万。大部分企业的业务场景，13B经过微调后效果已经够用。
更务实的做法：先用7B把场景跑通，验证业务价值后再升级。模型可以换，硬件可以加，但场景没跑通就砸钱买顶配是最常见的弯路。
FAQ
Q：能不能用云服务器，不买硬件？
A：可以。7B模型用1张A10云实例，月费约2000-3000元。但长期来看（超过12个月），买硬件比租云划算。云部署适合前期验证阶段。
Q：消费级显卡能用于生产环境吗？
A：能用但有风险。4090没有ECC内存，长时间高负载可能出现计算错误；散热设计不适合7×24小时运行。建议开发测试和小规模内部使用（15人以下），正式生产用A100。
Q：后续模型升级，硬件要换吗？
A：7B升13B，1张4090换1张A100，服务器主板和电源通常不用换。13B升70B，需要从1卡变4卡，服务器基本要换。采购时建议选支持多卡的4U服务器主板，给后续升级留空间。
一句话总结：7B起步够用，13B兼顾效果和成本，70B量力而行。先把场景跑通再升级，别在业务还没验证的时候就砸钱买顶配。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
