北京
几个月前，我花不到300美元买了台迷你PC，就想看看它能不能跑本地大模型。动手前我做好了心理准备：大概会折腾一下午，要研究系统兼容性、模型参数、命令行工具，最后还不确定这台没独立显卡的小机器能干点什么正经事。
结果整个过程流畅得让我意外。我没搭服务器，没配开发环境，也没把电脑改装成什么AI工作站。就是下载了一个叫Ollama的桌面软件，在界面里挑了个模型，然后这台小电脑真的就能完成一些日常任务了。这个体验扭转了我对“本地AI”这个品类的认知——如果你有一台配置还过得去的电脑，也习惯安装普通桌面软件，那么本地AI不再是可以远观但不敢上手的东西，它已经变成能实际使用的工具。
最让我吃惊的是，安装模型这一步其实根本不需要打开命令行。按以往的经验，本地AI往往在这一步劝退普通用户。在Windows上，我下意识地打开PowerShell，粘贴一串命令，小心翼翼怕漏掉什么。我就这么先通过命令行装了Gemma 3，当时还以为这是必经之路。但很快发现，Ollama自己的界面里早就支持直接选模型安装。这一下，整件事从“开发者实验”变成了“普通电脑软件”。我不用翻文档，不用照着手册敲命令，不用怀疑自己是不是做错了。打开软件，选个模型，就可以开始用。这个变化相当关键：只要你装过任何一个程序，会点几下应用界面，本地AI的门槛已经被踩平了。
不过，安装工具简单，不代表就能随便用。这台迷你PC没有独立显卡，不是所有模型都能跑得动。这部分是最需要精打细算的地方，我得老老实实对照实际的硬件，而不是幻想自己拥有一块H100。于是我开始查资料、做对比、一个个模型实际跑起来感受速度。有的模型慢到没有使用价值，有的则在硬件限制下表现得意外可用。试了几款之后，我最终选定了Gemma 3:12B，它在我这机器上的平衡点最好。
这时候需要冷静拆解一下两种看法。正方会说：Ollama把本地AI的用户体验做到了新高度，安装过程去掉技术障碍，让生成式AI从开发者的玩具变成了普通人的生产力工具。反方则会提醒：即便如此，硬件差距依旧是绕不开的墙，选错模型照样会让你觉得本地AI只是“能用但不好用”。这两种说法都没错。本地AI正在从“能不能装”的讨论，迅速滑向“装哪个更合适”的讨论。
我的判断是，Ollama解决了第一步的问题——让使用本地大模型像安装浏览器一样简单。但第二步，也就是根据具体硬件挑选合适的模型，仍然是用户需要自己做功课的环节。好在这部分不像过去那么可怕，试错的成本很低，几个模型跑不动，换一个就好了。整个过程教会我一件事：本地AI现在足够平易近人了，但能不能让它真正服务于你，最终还是取决于你是否愿意花点时间了解手头硬件的边界，然后匹配那个“对”的模型。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
