下载了能装下的最大模型,然后纳闷它为什么慢——这是本地 AI 最常见的错误。模型选择首先是个硬件问题,其次才是质量问题的延伸。
决定一切的是三个数字:内存、显存、CPU。
内存是硬天花板。7B 模型在 Q4 量化下约需 5GB,13B 约需 9GB,70B 需要 40GB 以上。模型加上下文一旦装不进内存,系统就会往磁盘上换页,慢到不可用。
显存决定你拿到的是 GPU 速度还是 CPU 速度。8GB 显存可以流畅跑 7B 模型,24GB 显存能上 30B 以上。
CPU 只在纯 CPU 推理时才是主角。现代六核处理器跑 7B Q4 属于可用水平,预期速度在每秒 5 到 15 个 token 之间。
选模型要按用途匹配,而不是按跑分匹配:
- 聊天与通用场景:7B 到 13B 的 instruct 模型是多数硬件的甜点区
- 写代码:同尺寸下,代码专用 7B 到 13B 胜过通用模型
- 推理任务:更大确实更好,需要思维链就别省
- 向量与 RAG:0.5B 到 2B 的小模型够用且快
量化是质量与速度之间的取舍。Q8 接近无损,体积约为 Q4 的 1.5 倍,内存够就上;Q4_K_M 是甜点,质量约为 Q8 的 75%,体积只有一半;Q2 到 Q3 应付简单任务可以,推理上退化明显;IQ 系列量化在纯 CPU 推理下每比特质量更高。
规则只有一条:从 Q4_K_M 起步。质量不够就往上试 Q6、Q8,不要往反方向走。
部署路径上,Ollama 最省事,一条 ollama run llama3.1 就完成了量化、服务化和 API 封装,适合九成用户。llama.cpp server 提供更多控制,GPU 与纯 CPU 各有对应的启动脚本,上下文长度、线程数、批大小都做了调优。两者都暴露 /v1/chat/completions 接口,现有代码不用改就能接上。
预期也要摆正。一台 200 美元的机器能跑好 7B 模型,是真能用,不是玩具;70B 模型需要工作站级硬件,不必硬扛。本地模型私密、按 token 算不花钱,但能力上落后前沿云端模型一到两个档次。该用在隐私和离线重要的地方,而不是需要最好答案的地方。
本地 AI 是真实可用的,但它是一个受硬件约束的工程问题,不是下载即用的消费问题。跑得顺的人,都是先做硬件画像、选对量化、把预期摆正的那批。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.