网易首页 > 网易号 > 正文 申请入驻

为什么你的本地大模型跑得慢?先算清这三个数字

0
分享至

下载了能装下的最大模型,然后纳闷它为什么慢——这是本地 AI 最常见的错误。模型选择首先是个硬件问题,其次才是质量问题的延伸。

决定一切的是三个数字:内存、显存、CPU。

内存是硬天花板。7B 模型在 Q4 量化下约需 5GB,13B 约需 9GB,70B 需要 40GB 以上。模型加上下文一旦装不进内存,系统就会往磁盘上换页,慢到不可用。

显存决定你拿到的是 GPU 速度还是 CPU 速度。8GB 显存可以流畅跑 7B 模型,24GB 显存能上 30B 以上。

CPU 只在纯 CPU 推理时才是主角。现代六核处理器跑 7B Q4 属于可用水平,预期速度在每秒 5 到 15 个 token 之间。

选模型要按用途匹配,而不是按跑分匹配:

  • 聊天与通用场景:7B 到 13B 的 instruct 模型是多数硬件的甜点区
  • 写代码:同尺寸下,代码专用 7B 到 13B 胜过通用模型
  • 推理任务:更大确实更好,需要思维链就别省
  • 向量与 RAG:0.5B 到 2B 的小模型够用且快

量化是质量与速度之间的取舍。Q8 接近无损,体积约为 Q4 的 1.5 倍,内存够就上;Q4_K_M 是甜点,质量约为 Q8 的 75%,体积只有一半;Q2 到 Q3 应付简单任务可以,推理上退化明显;IQ 系列量化在纯 CPU 推理下每比特质量更高。

规则只有一条:从 Q4_K_M 起步。质量不够就往上试 Q6、Q8,不要往反方向走。

部署路径上,Ollama 最省事,一条 ollama run llama3.1 就完成了量化、服务化和 API 封装,适合九成用户。llama.cpp server 提供更多控制,GPU 与纯 CPU 各有对应的启动脚本,上下文长度、线程数、批大小都做了调优。两者都暴露 /v1/chat/completions 接口,现有代码不用改就能接上。

预期也要摆正。一台 200 美元的机器能跑好 7B 模型,是真能用,不是玩具;70B 模型需要工作站级硬件,不必硬扛。本地模型私密、按 token 算不花钱,但能力上落后前沿云端模型一到两个档次。该用在隐私和离线重要的地方,而不是需要最好答案的地方。

本地 AI 是真实可用的,但它是一个受硬件约束的工程问题,不是下载即用的消费问题。跑得顺的人,都是先做硬件画像、选对量化、把预期摆正的那批。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
这下彻底佩服了!​黄仁勋的情人黄乐,​手上戴的手镯,我特意去查了一下它的价格,真是贫穷限制了我的想象!

这下彻底佩服了!​黄仁勋的情人黄乐,​手上戴的手镯,我特意去查了一下它的价格,真是贫穷限制了我的想象!

财经要参
2026-11-15 12:00:05
曾率海港夺中超冠军!曝60岁名帅被推荐给蓉城 与郑智李霄鹏竞争

曾率海港夺中超冠军!曝60岁名帅被推荐给蓉城 与郑智李霄鹏竞争

我爱英超
2026-11-21 17:13:47
广东男篮爆冷出局,赛后媒体人不留情面揭开伤疤,说到点子上了

广东男篮爆冷出局,赛后媒体人不留情面揭开伤疤,说到点子上了

南海浪花
2026-11-22 05:37:34
真的来了!特斯拉突然发布年度重磅产品

真的来了!特斯拉突然发布年度重磅产品

XCiOS俱乐部
2026-11-22 09:20:07
金价跌势凌厉,多家银行发紧急提示,网友:1200时不提醒,700反而疯狂提醒

金价跌势凌厉,多家银行发紧急提示,网友:1200时不提醒,700反而疯狂提醒

东方豪侠
2026-11-22 09:26:55
167年黎曼猜想终于官宣确认!陶哲轩的2050预测,只撑了35天

167年黎曼猜想终于官宣确认!陶哲轩的2050预测,只撑了35天

AI范儿
2026-11-22 02:35:46
“好好学习吧,令爱的长相走不了这条路!”家长晒艺术照,心态崩了!

“好好学习吧,令爱的长相走不了这条路!”家长晒艺术照,心态崩了!

世界圈
2026-10-27 09:17:34
IGN:《GTA6》高人气美女很恐怖!杰森躲过一劫

IGN:《GTA6》高人气美女很恐怖!杰森躲过一劫

游民星空
2026-11-20 12:11:29
6-5!英锦赛一夜3场绝杀:中国军团5胜2负,丁俊晖首场对手3选1

6-5!英锦赛一夜3场绝杀:中国军团5胜2负,丁俊晖首场对手3选1

球场没跑道
2026-11-22 09:03:41
9个经济体的GDP不如深圳一个市?这届APEC,让全球重新认识了中国

9个经济体的GDP不如深圳一个市?这届APEC,让全球重新认识了中国

随遇而安之心
2026-11-21 19:31:03
与印度比赛时做出嫌臭手势,柏林联合15岁小将陷种族歧视争议

与印度比赛时做出嫌臭手势,柏林联合15岁小将陷种族歧视争议

懂球帝
2026-11-21 23:31:14
湖南出现历史上最荒唐法官!判男方净身出户,然后跟拿到全部资产的女方结婚

湖南出现历史上最荒唐法官!判男方净身出户,然后跟拿到全部资产的女方结婚

爆角追踪
2025-11-23 11:25:00
高市早苗摸特朗普后背遭躲闪,日网友痛斥:没资格当首相

高市早苗摸特朗普后背遭躲闪,日网友痛斥:没资格当首相

沧海一粟1155
2026-11-21 08:13:58
“A10后备厢装几箱啤酒就被压露底”,零跑汽车回应:系物品超过设计承重上限所致,已与用户沟通并获得理解,后续将优化用车指引

“A10后备厢装几箱啤酒就被压露底”,零跑汽车回应:系物品超过设计承重上限所致,已与用户沟通并获得理解,后续将优化用车指引

政知新媒体
2026-11-21 09:48:46
385米!胡塞打出超高战绩

385米!胡塞打出超高战绩

星火聊天下
2026-11-21 14:23:43
盛世脆断之前,无人感到安全

盛世脆断之前,无人感到安全

海涛评论
2026-11-20 00:44:37
宏远速递!广东连创队史纪录,陈老板做重要决定,贝帅暂时离队

宏远速递!广东连创队史纪录,陈老板做重要决定,贝帅暂时离队

多特体育说
2026-11-22 08:20:05
“拼命生产裁减工人,到时候卖给空气”?浙江车间299台注塑机仅8人值守,网友急了:全部失业谁有钱消费

“拼命生产裁减工人,到时候卖给空气”?浙江车间299台注塑机仅8人值守,网友急了:全部失业谁有钱消费

王老师你还好吗
2026-11-21 13:43:36
2004年,43岁的高市早苗第一次结婚,嫁给了52岁、离过婚还带着三个孩子的山本拓。

2004年,43岁的高市早苗第一次结婚,嫁给了52岁、离过婚还带着三个孩子的山本拓。

回京历史梦
2026-11-21 09:30:09
伺候宋美龄大半辈子的老佣人,临死之际才肯吐露:她能活到106岁,凭借的哪里是那些补品,真正见效莫过于这件事!

伺候宋美龄大半辈子的老佣人,临死之际才肯吐露:她能活到106岁,凭借的哪里是那些补品,真正见效莫过于这件事!

扶苏聊历史
2026-11-21 17:42:04
2026-11-22 10:20:49
爬虫饲养员
爬虫饲养员
业余养了只叫“龙虾”的AI爬虫,主业是给互联网打工。
195文章数 88关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

港姐季军吴文忻去世,生前已办追思会

财经要闻

走过三年牛市,黄金何去何从?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

教育
时尚
亲子
本地
公开课

教育要闻

校长引领学校长远发展的八项能力

我们总说爱动物,但我们真的懂得如何善待它们吗?

亲子要闻

果然祖坟冒青烟也有累的时候!网友:祖坟也得歇歇,不能一直冒烟

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版