手机装上本地大模型，告别云端AI不是梦

AI聊天机器人最大的问题之一是你得一直在线才行的那种。当你在线时，基于云的AI工具很棒，但一旦你走出信号区，你就凉了。

当然，除非你有一个离线的本地LLM，不需要一直联网。本地LLM是不联网情况下继续使用AI的绝佳方式，更不用说还能极大保护隐私。

很多人对本地LLM有个大误解，以为得用那种超级强的硬件才能跑。其实不是这回事。你实际上可以在智能手机上运行本地LLM，更好的是，而且特别实用。

实际上，我在智能手机上尝试了几种不同的应用来使用本地LLM，下面这几个最好使。

到底为什么要在手机上用本地AI？

告别云端

在手机上用本地LLM值不值，原因有几个；多重要呢，全看你怎么看这门技术了。

对我来说，这是隐私和便利两全其美。尽管我特别不想承认AI已经渗到我每天生活里了，但事实确实如此。最重要的是，我拿跟AI深聊替代了原来每天那堆常规的谷歌搜索。

所以，当我在没网的地方让它一直开着对我来说很重要。我住在康沃尔的偏远地区，几乎是英国最西端的地方。这边很多地方连5G和4G信号都没有，更别提坐火车信号断断续续，坐飞机直接没信号，机上Wi-Fi还贵得要命。

隐私是另一个大好处。如今，大多数人都明白你对云端AI聊天机器人说的任何话都会被收集，就像以前的谷歌搜索一样。这些信息会被反馈回系统以改进AI，这很好，但确实意味着你问什么、说什么、发表什么看法都得留个心眼。

当你在云端AI里打字时，这些内容都存在你管不了的服务器上。但换成本地AI呢？你的医疗问题、财务信息、法律文件以及其他任何私人信息都只留在你设备上。

最后是成本。虽然你可以免费愉快地用大多数热门AI聊天机器人，但经常会碰上限额。AI公司总想让你升到更高档位，解锁更高额度、最新模型啥的。但本地AI模型不用交订阅费，等于每月多出20美金。

目前，我试过在手机上跑本地AI的几种不同方式，其中有俩应用比大部分都好使。

注意：你手机上运行的不是完整版AI模型，而是所谓的量化模型。它虽然依旧非常强大，但绝对不会因为一条提示就让你的手机报废！

Google AI Edge Gallery

完美适合运行Gemma

在智能手机上使用本地AI的最佳途径之一是通过Google的AI Edge Gallery，安卓和iOS都能用。

在操作和易用性上，AI Edge Gallery绝对排在前列；每个选项都摆得清清楚楚，说明也简单易懂。AI模型易于下载，并按符合你设备的顺序排好；应用会用像Ask Image或AI Chat这样的标签说明每个模型的功能。

AI Edge Gallery的出色之处在于，你不用注册账号就能直接用上谷歌最新最牛的AI模型Gemma 4。例如，你可以打开AI Edge Gallery，选择AI Chat，然后下载Gemma-4-E2B-it模型，它支持语音、图片、文字等多种输入方式。

根据你的下载速度，几分钟后，你就能在手机上跟AI完全离线聊天了。

除了基础聊天功能外，该应用还包含智能体技能（Agent Skills），可利用维基百科和交互式地图等工具增强模型；一个提示实验室（Prompt Lab），用于精细参数控制；语音转录（Audio Scribe），用于设备端转录；以及图像问答（Ask Image），用于多模态视觉查询。哦，别忘了还有小花园（Tiny Garden），这是一款通过文本和语音提示控制的园艺游戏，这个小游戏挺有意思，让你看看AI能玩出什么花样。

我对AI Edge Gallery唯一真正的不满在于，在我写这篇文章的时候，它没有聊天记忆功能。一旦你关掉对话，聊天记录就没了。这是一款适用于智能手机本地AI的强大应用，但对于经常用AI聊天的用户来说，这是一个大问题。

MNN Chat

非常适合小型模型

第二款将本地AI带到智能手机的应用是MNN Chat，这是一款开源应用，让你轻轻松松就能在设备上使用小型AI模型。MNN Chat更适合非“旗舰”级别的智能手机，更侧重于体积比较小的AI模型，例如Qwen系列。

不过别被吓到，试试看，因为Qwen AI模型在大多数任务中仍然表现出色，对于刚接触本地AI设备（无论是智能手机还是其他硬件）的人来说，是个很好的入门选择。

不过，你不必局限于Qwen。你可以使用MNN Chat的菜单在Thinking、Vision、Audio、AudioGen等模型类型里面选，也可以在HuggingFace、ModelScope和Modelers等AI模型仓库之间切换。

尽管MNN Chat明显更偏向于有点基础的用户，但它的使用依然非常简单。更重要的是，它还能保存聊天记录，因此你可以随时接着聊。

如果你不确定如何选择，可以使用MNN Chat内置的基准测试工具，它能让你了解模型在你设备上的表现。更快的预填充和解码速度意味着该模型在基准测试中表现更佳。

本地AI模型确实需要硬件，还有存储空间

当然，在手机上跑本地AI肯定得牺牲点啥。我用荣耀Magic V5和Nothing Phone 3试了这些模型。这两款手机性能不太一样，但用起来都还行，不过都是2025年出的。

老手机配置差可能会更吃力。如果你使用的是旧设备，MNN Chat可能更适合你用在手机上跑AI，因为它列了一堆轻量级的AI模型。你应该能找到一个不费电也不卡顿的模型。用它的测试工具看看你手机能不能跑得动。

存储空间也得想想。模型本身很占空间，一个像样的模型少说1GB，多的能超4GB，因此要是你手机快没空间了，下载前得先算算。

好消息是，量化模型让在手机上跑本地AI比以前容易多了，Google AI Edge Gallery和MNN Chat就是冲着这个来的。