给手机装上离线DeepSeek模型，关键时候能救命？

好了，又到了雷科技的DeepSeek整活时间。

之前雷科技成功尝试过在一台没有独显的笔记本电脑上，单纯依靠CPU和内存来本地部署DeepSeek，最终成功运行了一个7B参数量的Qwen蒸馏模型。

虽然部署的要求很简单，但是7B参数量的AI模型表现也确实很一般，而且PC本身也可以轻松获取到更高参数量的AI模型，所以实际意义并不大。不过，倘若可以把这个AI模型部署到手机上呢？7B的AI模型在工作等方面或许不能给我们太多的帮助，但是在手机上拿来当随身AI助手的话，结论或许就不一样了。

在此之前，我们首先要在手机上部署AI。网上有不少相关教程，小雷测试了其中的几种，也算是帮大家提前趟趟雷了。

手机本地部署DeepSeek，还真行

如果你在百度上搜索这个问题，或许会首先看到“天极网”发布的教程，这篇教程是通过一个名为Termux的app，在安卓手机上模拟一个Linux终端，然后部署Ollama，再通过ollama来下载DeepSeek模型并运行。

简单来说，就是将在电脑上部署DeepSeek的方案，直接移植到手机上，因为是通过终端模拟器来运行，所以实际效率还要打个折扣。至于详细的部署过程，大家可以看一下小雷的几张截图：

图源：雷科技

虽然全程都只是需要输入命令就会自动进入下一步，但是多数人看到这个满屏代码的画面，估计就会被默默劝退。而且，在折腾了差不多两个小时后，我也终于确认了一件事：教程里写的服务器出问题了。

如果按这个教程对环境部署服务器进行访问，其实是找不到原文里提到的清华大学镜像文件源，只剩下几个按大洲和区域划分的服务器可选，为了排除网络因素，我还分别切换了不同的网络尝试，都只有八个服务器在线。

图源：雷科技

随后我分别尝试了亚洲和中国骨干网络的两个镜像源，都在进行到Ubuntu安装的步骤卡死，下载速度非常慢的同时还有可能中途报错，导致整个下载停摆。在折腾几个小时都无法完成安装后，我选择尝试另一个部署方案。

这个方案则是通过部署安装依赖后，直接下载ollama并在本地运行，比之前的方案要更简略，但是从实际的测试来看，如果你没有特殊网络，可能会无法开启下载，即使开启下载后，仍然有可能卡在软件部署的过程中。

简而言之，如果你想用Tremux实现最原始的AI大模型部署，那么或许要具备一定debug能力和良好的网络支持，否则就可能像我这样花了几个小时，仍然看着网络错误的提醒发呆。

不过好在现在AI概念非常红火，所以github上其实有很多开源的本地AI部署app供大家选择，我这次就测试了三款：ChatterUI、PocketPal和MNN大模型，三款app各有优劣，大家可以根据需要自行选择。

图源：雷科技

其中，ChatterUI和PocketPal支持直接加载本地AI模型，并允许通过在线下载的方式远程加载模型到本地系统，个人建议如果你有电脑的话，最好直接下载到电脑再复制到手机里，方面根据需要更换模型，避免一堆模型堆积在手机内存里，挤占手机空间。

提供AI模型下载的网站并不少，不过大多需要魔法网络才能访问，所以我建议大家直接去魔塔社区下载即可，这是阿里达摩院运营的AI模型社区，其模型库基本上涵盖了大部分开源的AI模型及其衍生版本，并且对模型进行详细分类，可以根据词条进行快速查询。

图源：雷科技

注册并登录后，就可以开始选择你的AI模型，个人建议内存小于12G的朋友选择Qwen 2.5-3B和LLama-3.2-3B两个版本的AI模型，12G及以上的朋友则可以选择DeepSeek-R1-7B的版本。

在下载模型并转存到手机后，接下来做的就是安装app，然后加载模型，过程很简单。先来看看ChatterUI，这个app的特点是支持TTS（语音输出），结合语音输入可以解锁更多的使用场景和方式。

图源：雷科技

安装好后点击左上角就可以唤出侧边栏，先点击「Formatting」在顶部选项栏里找到你下载的AI模型，比如你下的是DeepSeek那就选DeepSeek-R1。保存后退出再点击侧边栏的「Models」，点击右上角的添加并选择第一条选项，即可打开手机存储，然后选择刚刚存入的AI模型，稍等片刻就可以完成加载，最后点击最右侧的“运行”图标即可部署。

图源：雷科技

接下来只要你点击AI Bot，就可以与你选择的AI模型对话，如果想切换模型，返回Models进行设置即可。此外，ChatterUI也支持对模型的各种推理参数进行详细设置，点击侧边栏的「Sampler」即可，各种参数的对应效果大家可以在网上自行搜索学习，这里小雷就不展开来说了。

再来看看PocketPal，这个app的用起来还要更简单些，只是不支持TTS功能，同样是打开侧边栏的「Models」，右下角可以直接添加本地AI模型，并且也提供一些小参数的AI模型快速下载通道，有兴趣的话可以下载来玩玩。

图源：雷科技

AI模型安装好后，还是点击右下角的运行进行加载，然后就可以直接回到首页进行提问了，右上角可以进入推理设置页面，与ChatterUI差不多。

如果说你觉得以上两个app的英文不太看得懂，而且想要更简单易上手，那么我的建议是MNN，这是由阿里开发的开源app，整合了多个在手机等小型移动设备上运行效果良好的AI模型，涵盖了DeepSeek、Qwen、LLama等通用模型及一些专业模型，可以根据需要直接点击下载。

图源：雷科技

下载完成后点击即可加载使用，全程傻瓜式操作，但是也有个缺陷，那就是不能像ChatterUI和PocketPal那样直接调整模型的推理参数，只能通过对话的方式让AI尝试着把回答变得更具创意一些。

以上三个app基本可以覆盖大多数的本地AI部署需求，不管你是单纯想要个问答助手，还是想要个随身的解闷软件，亦或是想折腾不同的AI模型，看看其本地部署的效果，都可以轻松应对，而且比通过Termux来部署要简单方便得多。

手机本地AI：性能不重要，隐私有保障

AI部署完了，那么就到了喜闻乐见的体验环节，作为对比，我还下载了1.5B版本的DeepSeek-R1，理论上1.5B的版本可以被部署到8G甚至6G内存的手机里，可以说是最泛用的。

本来我是对1.5B版本的DeepSeek不抱太大希望的，但是没想到这玩意开局就给我来了个「惊喜」。我先是惯例的询问AI身份，看看他能否认知自己的AI模型版本，结果AI直接给我来了一套深度分析，从“对问题感到困惑”到“AIBot是谁（就是你自己呀）”，再到“AI Bot和User（我）之间的关系”，最后他给出了一个结论：

是，AI Bot是**人工智能**。它没有生命，也没有意识，只是一个功能模型或程序，并非人类。当你询问“你是谁”，AI Bot的回答其实是**没有实体存在的**，它本身并非人来回答的问题。
这种提问方式提醒我们在使用AI技术时需要谨慎，尤其是涉及基础概念的问答时。

我直接一个问号就想打出去了，好家伙，这是加载了什么参数库？怎么上来就是哲学模式？因为回答过于抽象，以至于我反复确认加载的1.5B而非7B版本。最后通过仔细查看思考过程，我发现可能是app的接口设置出现了一些问题，导致其与AI大模型之间的交流出现了问题，让AI以为这场对话有三个角色，自己正在作为旁观者回答我的问题。

图源：雷科技

简单来说，当时的场景就相当于User（我）指着AI Bot（ChatterUI）问DeepSeek：你（他）是谁，然后DeepSeek对着AI Bot就是一堆分析，最后得出了结论：这就是程序。只能说，AI这玩意玩久了，依然是处处有惊喜，特别是DeepSeek这种“发散性思维”的AI，经常能够给出一些让你眼前一亮（或者一黑）的回答。

不过在后续的追问下，这个只有1.5B参数量的模型很快就露出了马脚，开始前言不搭后语，答非所问，彻底变成了被玩坏的状态，只能说1.5B的模型确实难堪大用。而在切换成7B版本后，AI就轻松给出了正确的回答，然后我又追问了一个简单的问题：告诉我番茄炒蛋的做法，虽然AI先是说无法给出菜谱，但是随后也是列出了做法。

不得不说，本地部署的AI在稳定性等方面确实存在问题，与在线模式的AI体验有着非常明显的区别，而且不同app出现的问题也会各不相同，比如PocketPal就偶尔会出现思考到一半无法继续的问题，后续发现是思维链长度设置有问题，修改后就正常了。

而且，骁龙8至尊版+16G运存的手机，AI推理和生成速度都非常不错，已经完全满足日常问答和使用的需求，这一点也是让我颇为意外，事实上这个速度已经不比一些笔记本电脑差。

图源：雷科技

而在后续的一些提问里，7B的DeepSeek也是勉强答上了我的一些提问，比如当遇到一个癫痫症发作的病人时该如何进行急救、在野外受伤没有人帮助时该怎么自救等。基本上我就是设定了一个无法使用网络的场景，并且我急需一些帮助，在这种情况下离线部署的AI或许就是你最后的助力了。

图源：雷科技

毕竟如果可以联网的话，非隐私问题直接问DeepSeek app或者其他第三方AI，可以得到更好更完善的回答。至于隐私性问题，我的建议是大家如果真有需求，可以去腾讯云等云服务商那里买个API接口，然后通过chatbox在本地部署一个在线满血版AI客户端。

如果你对自己的隐私保护非常上心，那么找一台有20G以上显存的电脑，或者在华为云等云服务器供应商那里租一个云服务器，用来部署自己的专属AI模型也是可选项。

回到正题，在手机上部署AI大模型，有意义吗？我认为是有的。如果说电脑上部署7B版AI是“多此一举”，那么在手机上部署就不一样了。虽然能力是相似的，但是手机上的离线AI确实有用，他可以在你无网且需要帮助时，给你提供最基础的建议，有时候或许就是这个小小的建议，就能让你脱困也说不定。

再给大家总结一下三个app的本地部署效果，如果你追求稳定可用，那么MNN是最好的选择，在测试中也是回答质量最稳定的，而ChatterUI和PocketPal虽然功能丰富，但是也更容易出BUG，适合有一定AI基础和编程基础的人使用。

最后，希望大家都可以玩得开心。