网易首页 > 网易号 > 正文 申请入驻

本地跑AI三步装完,显卡门槛先看清

0
分享至

想在自家电脑上跑AI,不一定非得把对话内容发到云端。一篇操作向的体验文章给出的答案是:从打开浏览器下载软件到发出第一条提示词,走完三步就能用上。


作者拿到的是一台联想 Pro 9n,搭载英伟达 RTX Spark 芯片,配了带统一内存的板载 GPU——显存不够时可以“借用”系统内存,跑 AI 这类任务正好用得上。不过文章也明确说,你并不一定需要这么强的芯片;如果平时只是用 AI 聊天、生成图片、学习、做摘要这类轻任务,普通电脑也有理由用上本地 AI。

为什么不用云端?文章列的理由集中在三点:外部 token 消耗、隐私,以及便利性。云端服务像 Claude、ChatGPT、Copilot 确实方便,但不是每个人都愿意把自己和机器人的对话发到网络空间里,也不是每个人都想为 token 或订阅付费。

动手前先看硬件

文章强调,跑本地 AI 时 GPU 比 CPU 重要得多,把整个模型塞进显存才能保证最好的性能。给出的参考是:

  • 30亿到80亿参数的小模型,建议显存至少8GB
  • 80亿到140亿参数的中等模型,建议12GB显存;
  • 300亿参数以上的大模型,就进入工作站级别,要么靠很贵的 GPU,要么靠统一内存池(RTX Spark 笔记本就是这种)。

只用 CPU 跑也不是不行,但作者不推荐,即便芯片核心多、年代新,性能也会慢得多。文章顺带提了一句:PC 玩家大概是最有条件做这件事的人群,因为他们的机器里更可能有块像样的显卡。

三步装完

作者此前在台式机上用过 Ollama,这次选的是 LM Studio——一款免费软件,用来下载、管理和使用本地模型,界面干净,用下来没遇到性能问题。它可以从官网直接下载,支持 Windows(x86 和 ARM)、Linux 和 macOS。

  1. 装 LM Studio。免费,下载安装即可。
  2. 下载模型。在应用内的模型搜索里挑,软件会直接给出推荐,并带有兼容性和性能标记。作者选的是开源模型 Qwen3.8,参数量27B,属于偏重的规格,普通电脑未必扛得住,他是拿它来测那台统一显存的 RTX Spark 笔记本。文章给新手的建议是 7B 或 8B 模型,能拿到离线使用的隐私和便利,又不至于把电脑压垮。如果看中的模型带“可完全卸载到 GPU”的标记,大概率是对的选择。点下载,等它下完。
  3. 加载模型开聊。点应用左上角的聊天按钮,再点窗口上方中间的“选择要加载的模型”,选中后等它加载完,就可以在本地和 AI 对话了。

本地 AI 的短板也写清楚了

本地模型通常比顶级的云端模型弱。对普通用户来说这没什么,但进阶用户大概率还是需要付费订阅。另外,跑本地 AI 需要一台性能不错的电脑,不是人人都有;安装本身很简单,性能却会因硬件差异很大。

联网只在两个环节需要:下载 LM Studio 应用和下载模型。之后一切离线运行。

关于笔记本的 NPU,文章的说法是:NPU 随 Copilot+ PC 的推出受到关注,专为跑 AI 设计,但第一代笔记本 NPU 算力有限,较新的骁龙 X2 系列硬件达到80 TOPS,可以跑较轻的本地模型。

还有一个容易混淆的点:Windows 11 上预装的 Copilot 应用靠云端给答案,断网就用不了;而系统里内置的 Recall、Studio Effects 这类 Copilot+ 工具,是用本机 NPU 做本地加速的,不需要调用云端。

按文章的说法,装本地大模型和装其他软件差不多,有台现代电脑、有点空闲时间,读完这篇的工夫大概就能跑起来。至于值不值得折腾,先看显卡够不够格,再看你有多在意那些对话留在自己机器里。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
四年血白流?从寸土不让到75%,泽连斯基啥意思?

四年血白流?从寸土不让到75%,泽连斯基啥意思?

看看新闻Knews
2026-10-22 12:18:46
文强的儿子文伽昊,今年四十五岁了,定居在重庆,早已撕掉了

文强的儿子文伽昊,今年四十五岁了,定居在重庆,早已撕掉了

共情故事会
2026-10-22 17:17:24
一名乌克兰人揭开当年投票背后的实情:当初73%选民支持泽连斯基,并非拥护是嫌弃,一名演员是如何将总统的支持率压到24%

一名乌克兰人揭开当年投票背后的实情:当初73%选民支持泽连斯基,并非拥护是嫌弃,一名演员是如何将总统的支持率压到24%

唠叨说历史
2026-10-22 17:00:37
局势升温!454票压倒性通过对华强硬决议,中国须做好最坏准备

局势升温!454票压倒性通过对华强硬决议,中国须做好最坏准备

泠泠说史
2026-10-22 11:10:10
屡次成功抄底,江苏首富夫妇买对了什么

屡次成功抄底,江苏首富夫妇买对了什么

华尔街见闻官方
2026-10-22 21:33:36
11月16日至22日,九寨沟、稻城亚丁、黄山等15家省外5A级景区!凭深圳身份证/居住证免门票!

11月16日至22日,九寨沟、稻城亚丁、黄山等15家省外5A级景区!凭深圳身份证/居住证免门票!

深圳本地宝
2026-10-22 19:46:57
随着福建95-76,广东96-78,北京120-62,CBA最新积分榜出炉

随着福建95-76,广东96-78,北京120-62,CBA最新积分榜出炉

侧身凌空斩
2026-10-22 21:40:53
国乒女团2-3日本无缘卫冕!陈熠连丢2分成第一罪人 教练组布阵明显失误

国乒女团2-3日本无缘卫冕!陈熠连丢2分成第一罪人 教练组布阵明显失误

颜小白的篮球梦
2026-10-22 22:08:00
商务部副部长兼中华人民共和国国际贸易谈判副代表凌激会见法罗群岛副总理兼外交和渔业部长尼尔森

商务部副部长兼中华人民共和国国际贸易谈判副代表凌激会见法罗群岛副总理兼外交和渔业部长尼尔森

证券时报
2026-10-21 21:26:09
网友们看出尊界事件的最核心问题了

网友们看出尊界事件的最核心问题了

清晖有墨
2026-10-21 10:15:13
海南男子钓获稀有海鱼,鳞片晶莹发绿,像玉雕工艺品!网友:所以说龙一定存在

海南男子钓获稀有海鱼,鳞片晶莹发绿,像玉雕工艺品!网友:所以说龙一定存在

狸猫之一的动物圈
2026-10-21 09:04:47
越跌越买!神秘资金再度出手,信号已经很明显了!

越跌越买!神秘资金再度出手,信号已经很明显了!

星图金融研究院
2026-10-22 16:02:05
A股收评:3650告破,放量普跌下的结构性失血

A股收评:3650告破,放量普跌下的结构性失血

海右那人
2026-10-22 15:27:54
外籍首席采购官上任仅1个月,山姆就启动“好健康”大召回,只退款不赔偿

外籍首席采购官上任仅1个月,山姆就启动“好健康”大召回,只退款不赔偿

食悟
2026-10-22 21:36:59
一个中成药,就是中医版的氯雷他定,止痒、抗过敏,皮肤越来越好

一个中成药,就是中医版的氯雷他定,止痒、抗过敏,皮肤越来越好

神希园
2026-10-20 12:05:11
特斯拉拿下支付宝,震惊全网!

特斯拉拿下支付宝,震惊全网!

财经三分钟pro
2026-10-21 12:46:20
“人怎么能聪明到这种程度!”男子捡到装有3.8万现金的包,巧设数字防伪失物招领

“人怎么能聪明到这种程度!”男子捡到装有3.8万现金的包,巧设数字防伪失物招领

齐鲁壹点
2026-10-21 16:12:21
武汉三镇面临降级!“中超哈兰德”遭哄抢:29场造26球太强悍

武汉三镇面临降级!“中超哈兰德”遭哄抢:29场造26球太强悍

邱泽云
2026-10-22 13:40:10
连续投喂大量白糖30天,再断供!国外网红扮“蚂蚁天神”整蛊野生蚁群

连续投喂大量白糖30天,再断供!国外网红扮“蚂蚁天神”整蛊野生蚁群

怪罗
2026-10-21 17:42:19
39岁郑欣宜:没结婚没孩子,独自去加拿大给母亲扫墓,父亲没出现

39岁郑欣宜:没结婚没孩子,独自去加拿大给母亲扫墓,父亲没出现

娱说瑜悦
2026-10-21 15:17:55
2026-10-23 00:03:00
队友祭天法力无边
队友祭天法力无边
有态度网友ytd
137文章数 10关注度
往期回顾 全部

科技要闻

腾讯云谷歌紧急行动!互联网安全出大事

头条要闻

遛狗时2岁儿子坠亡 父亲扔掉孩子部分遗物:看到就难受

头条要闻

遛狗时2岁儿子坠亡 父亲扔掉孩子部分遗物:看到就难受

体育要闻

卢卡:伦德伯格,欢迎来到NBA

娱乐要闻

芭莎盛典,张小斐因救场实现口碑暴涨

财经要闻

宁德,跌成了一只红利股?

汽车要闻

搭城市NOA/续航555KM 捷达M6上市售7.98万起

态度原创

游戏
家居
亲子
本地
公开课

赛事终章的欢呼声漫过羊城,中国的《荒野乱斗》电竞才刚刚开始"/> 主站 商城 论坛 自运营 登录 注册 简体中文 简体中文 English 赛事...

家居要闻

2026建博会(广州) 公装联探展交流活动

亲子要闻

“这可能是全球最小的双年展”!深圳福田首届儿童双年展开幕

本地新闻

一场垂直登高赛跑出了"山城"的真正内核

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版