大型语言模型自托管，颠覆我对人工智能的认知

我首先承认，我从来不喜欢第一波人工智能和大型语言模型（LLMs）刚出现时的表现。关于如何正确分类这些智能助手仍然存在争论。它们是人工智能，还是仅仅是拥有庞大知识库以构建回复的简单脚本？从简单工具到人工智能的界限在哪里？无论你站在哪一边，LLMs 现在无处不在。你在 Copilot、整个 AI PC 营销热潮中看到了这一点，现在比以往任何时候都有更多的人在家中自托管它们。

到目前为止，我可以算是那些不使用 LLMs（或者人们现在所说的“AI”）的人。好吧，这一切在我终于开始玩弄 Ollama 和 Open WebUI 后发生了变化。

我对人工智能（和 LLMs）的不屑

我只是看不到意义

普通人并不需要 LLM 来完成任务。当然，你可以让你的电子邮件应用为你总结一封邮件，但为什么不自己读一读呢？对于 Microsoft Windows 上的 Copilot 也是如此。当这些以 AI 为中心的功能在 macOS、iOS、Android 和 Windows 上宣布时，我开始想人们实际上会用它们来做什么，结果发现并没有太多用途。Copilot 的发布是灾难性的，每个人都嘲笑苹果的 iPhone Apple Intelligence 营销。并不是说我不相信它们有用处，而是时机还不够成熟。

微软 Edge 是我用的 AI 浏览器吗？我觉得不是。

就像科技行业中的许多新潮流（你好，NFT！），人工智能的突然普及让许多人感到惊讶。每个人都想在自己的品牌中比以往更大力地加入人工智能。我们在Windows中有人工智能，AMD Ryzen AI CPU，著名的ChatGPT，还有更多。甚至亨氏在其自己的营销中也使用了人工智能……用于番茄酱。我很快就对这种潮流感到厌烦，想必很多人也是这样。这正成为下一个大家都不太懂的热门趋势，但却想强加给毫无防备的消费者，因为利润至关重要。

总感觉人工智能被推销为解决我们尚未发现的问题的方案。如果你现在在用iOS或Windows，你是怎么利用那些人工智能功能的？自从你切换到智能助手的世界后，你的生活有没有明显改善？Spotify是否需要显示哪些功能使用了智能工具？可能不需要，这可能会成为我们最终遗忘在历史尘埃中的东西。谷歌也是如此，现在人工智能处于最前沿，紧挨着使其成为今天这个企业集团的同一搜索结果页面。

别误解我的意思，使用ChatGPT可以是积极的。需要快速了解某些信息而不必通过搜索引擎寻找特定网站？ChatGPT可以在几秒钟内提供答案。但我们如何才能超越简单的AI图像生成和回答问题呢？这是我在理解普通人时感到困惑的，他们更可能最终清理掉他们尘封的电脑，而不是充分利用人工智能。科技行业的这种大力推动是否仅仅是把我们都变成《机器人总动员》里的漂浮空壳？

然后就是使用大型语言模型（LLMs）所涉及的伦理、可靠性、偏见、安全性和经济影响等问题。运行这些模型和类似技术也需要大量的电力，这在媒体上已经报道过几次。这是一个令人困惑的时期，因为生成性人工智能，主要是我们今天可以互动的内容，并不是一夜之间出现的。尽管营销机器已经将这个术语用在了几乎所有的产品上，但我们走到今天这个地步是一个漫长的过程。

自托管LLMs改变了一切

就在那时，一切都明朗了

我没有任何支持人工智能的设备，无论是我的电脑、手机还是冰箱。每样东西都有其位置，但我正在逐步完善我的家庭实验室，尽量多做自托管，并慢慢让家中的事物变得更智能。这个实用的平台把所有东西整合在一起，拥有很多集成和社区插件。它可以用来改善你日常生活的各个方面，从自动开灯和插座到管理整个安全系统。

这时我从我尊敬的同事亚当·康威那里得到了一个主意，为 Home Assistant 和 Frigate 自托管一个大型语言模型（LLM）。我使用 Proxmox 组装了一台旧电脑，配置了 Intel Core i7-10700K、Nvidia GeForce RTX 3060 和 32GB DDR4-3200 内存。虽然性能不是特别强大，但足以处理一个 14b 的大型语言模型，而且每个请求的延迟也很小。当 Ollama 和 Open WebUI 启动并运行时，我恍然大悟，我终于看到了 LLM 所提供的力量（和多功能性），尽管它并不是“真正的 AI”。

当 Ollama 和 Open WebUI 启动并运行时，我恍然大悟，我终于看到了 LLM 所提供的力量（和多功能性）。

在这个新搭建的服务器上运行模型后，我可以将其与 Home Assistant Voice 连接，减轻 HA Proxmox 节点的负担，并利用可用的 GPU 来实现更快的处理和更显著的效果。Frigate 也是这样。通过五个 1080p 的监控摄像头，本地机器顺利运行着 Intel Xeon E3-1245v2 CPU 和 Nvidia T1000 GPU 来处理所有的检测和录制。不过，这些任务同样可以转移到 LLM 上，从而获得一些非常酷的结果，比如搜索在面包车、衬衫、车牌和其他捕获图像上检测到的文本。

我现在有一台可以运行图像处理模型、处理家庭自动化并随时准备处理任何个人请求的服务器。这可以是检查代码、帮助构思或帮助我解决一些我错过的相对明显的问题。我现在明白这些先进模型的能力有多强大，以及这对我们人类未来的意义。我们是否能够以负责任和有用的方式利用这种力量还有待观察，但我只希望这一切能更好地进行市场推广。

自托管人工智能的重要性

关注一切

我自托管Immich，因为我不想让某家公司管理我的个人媒体。我使用Jellyfin，因为我更喜欢购买电影和音乐，并享受随时观看和收听媒体，而不必支付每月订阅费。我更喜欢Nextcloud而不是Microsoft 365，因为它是免费的，并且足够强大以满足我的需求。我更喜欢开源和免费的软件，而不是那些科技巨头提供的，因为这样我可以更好地控制我的数据及其使用方式。为这些项目捐款比为每个单独的服务支付每月订阅费要令人满意得多。

Ollama、Open WebUI和众多可用的LLM也是如此。这些工具在正确使用并与其他系统结合时，效果非常好。在浏览器中启动ChatGPT很方便，但你是在一个你无法控制的网站上使用远程托管的LLM。这些数据都去哪儿了？这就是为什么我现在能理解在家运行LLM的吸引力，因为你可以完全控制它的使用，而且不必担心隐私问题。只要你有足够的电力，就能享受到运行这些模型带来的所有性能。

您可以在台式机或笔记本电脑上安装并运行自己的 LLM。