河北
本地 LLM 以前总让人觉得是电脑上跑的东西。大家聊起它们的时候，默认你有一块还行的 GPU、一个挺大的模型文件，还有一个功能齐全的强大 GUI 运行器。我自己也是这么一套配置，到目前为止一直运行良好，除了我那块小 GPU 稍微有点局限之外。
但大多数时候真正干活的那台机器并不是它。而是我的手机，它跑的东西体积小了一大截，而且出词速度往往比我台式机还快。大家通常觉得手机是退而求其次的选择，跑的是同一个工具的缩水版，但说到开放权重模型，手机已经不算将就了。原因与其说是手机变聪明了，不如说是台式机已经被逼到了极限。
手机免去了跑本地模型的前期麻烦
但这不仅仅是便利性的问题
众所周知，如今手机几乎是处理任何任务时更方便的选择，这就不用我费口舌了。我想说的是，我手机上的本地大模型并不是在跟台式机上的模型较劲。它真正对标的是同一部手机上的云端AI，而且在出第一个字的速度上赢了，因为不用等数据在服务器之间来回跑，也没有那种网速再快也藏不住的常见延迟。
在我的台式机上，如果我想快速向本地模型提问，LM Studio得已经开着、模型也加载好了。如果没有，我得等十秒甚至更久才能看到它蹦出第一个字。PocketPal一打开就会自动加载我上次用的模型，几秒钟就好，我人还没坐稳就已经开始打字了。
还有一个我觉得被大家忽略的工作流角度。当我已经在手机上阅读或处理某些事情时，我不想为了跑个本地模型就切到桌面端去。手机上有了能打的开放权重模型，就意味着整个工作流都能留在手机上。
更好的硬件配更大的模型，按理说应该赢，但并没有
为什么参数表会骗人
我用同样的提示词跑了无数次桌面模型和手机模型，结果数字还挺让人震惊的。在我的 iPhone 16 上，一个 4B 模型能轻松跑到每秒 13 个 token 左右，而一个 2B 模型甚至能到 20+。与此同时，我桌面端上的 9B 模型，在 LM Studio 里把 GPU 卸载拉到我能拉的极限、同时还能用其他应用的情况下，跑完全一样的任务，却只能到 9 tok/sec。同一系列的模型，相同的提示词，但较弱硬件上的小模型反而领先了。
原因在于它的卸载机制。LM Studio 允许我将模型的 transformer 层推送到 GPU 上，而我每往 GPU 上放一层就要占用显存。如果我的 9B 模型无法装入我的 8GB 显卡，放不下的部分就会被塞到系统内存里，改由 CPU 来处理，速度到这儿就崩了。为了让桌面还能用于其他任何事情——浏览器、Figma、Obsidian，不胜枚举——我得留些空间出来，这意味着 GPU 上的层数更少，也就意味着生成速度更慢。我可以专门腾出一段时间让电脑只跑本地 LLM，这样就能把速度提上去，但按我的工作方式，这不太现实。
我的手机其实不用面对这种取舍，因为它本来就只能运行更小的模型，而那些模型从一开始就是专门为这种限制设计的。例如，Qwen 3.5 是我最喜欢的模型之一，而 Qwen 3.5 2B 就是这一系列开放权重模型里专门给手机用的。它没有任何部分是硬塞进一台勉强带得动的设备里的。PocketPal 中的 Metal 设置和 GPU 层数滑块，跟 LM Studio 里的 GPU 卸载是一回事，只不过它们不用去抢单独的显存预算，因为 A18 芯片用的是统一内存架构。
而模型质量上的差距比参数数量所暗示的要小。据报道，Qwen自己的4B模型在许多基准测试中与上一代的80B模型相当，所以“小”并不意味着“差”，至少不像以前那样了。
这并不是说一种配置就一定比另一种好
台式机在某一个特定方面仍然有优势
当我关闭台式机上所有其他程序，让LM Studio把整台机器全占了时，一个9B或12B模型在把GPU卸载拉到最大时轻松达到每秒20多个token。在同样的配置下，如果没有任何其他程序运行，更小的模型速度可以达到三位数（token每秒）。因此，对于我确实需要更多参数的任务来说，台式机仍然胜出；我指的是那些特意坐下来用LLM做氛围设计、文档解析或研究整合之类工作的场景。
上下文长度则是另一个因素。把一整篇研究论文或者一大段转录稿塞进手机上的2B模型里，很快就把它塞满了，而且手机只要持续生成超过一两段内容就会热降频。台式机就没有这个问题。
所以不一定是手机就比电脑强。而是对本地LLM来说，合不合适比纯粹的性能更重要，而我的手机恰好几乎完美地契合了我的使用习惯。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
