北京
本地大模型的叙事，长久以来都围绕着一台像样的台式机展开。你需要一块不差的显卡、一个臃肿的模型文件，以及一个功能强大、界面完备的图形化运行器。我恰好就有一套这样的配置，除了我那略显局促的GPU显存偶尔拖点后腿，一切似乎都运转得还不错。
但一个反直觉的现实是，平日里替我干完绝大多数实际工作的那台机器，根本不是桌面端那套装备。它是我的手机。这台巴掌大的设备跑着一个体积仅有桌面端零头的模型，却经常能以更快的速度吐出token。在开源模型的世界里，人们过去总把手机视为一种妥协方案，一种只能运行弱化版工具的备胎。但现在的情况变了，妥协的一方反而成了桌面端。
个中缘由，和手机本身有多聪明关系不大，根源在于桌面端的架构正在把自己拖垮。这种反转，藏在每一次加载模型时的烦躁等待里，也藏在每一次无感的云端对比中。
所有人都知道，论及便利性，在今天几乎任何任务上，手机都是那个不用过脑子的首选。这一点无需赘言。我想强调的是：我手机上的本地模型，它的对手压根就不是我台式机上的那个同类。它真正的竞争对象，是同一部手机里的云端AI。而在首token延迟这项硬指标上，本地模型赢得干脆利落——没有服务器来回通信的等待，彻底抹掉了哪怕极速网络也无法完全掩盖的先天滞后。
轮到我的台式机出场，画风就变得拖沓起来。假如我临时想拿本地模型问点什么，前提是LM Studio必须已经开着，并且已经把合适的模型提前加载好。只要没准备好，我就得傻等十秒钟甚至更久的加载时间，才能盼来第一个token。而反观手机端的PocketPal，打开应用那两三秒内，它便自动加载好了我上次用过的模型。我人还没坐下，提示词已经敲了一半了。这是一种“无感”背后的结构化优势。
这里还有一个常常被忽视的工作流视角。当我正埋头在手机上读材料或处理事务时，我压根就不想为了跑一下本地模型，强行把注意力切换到台式机上去。移动端拥有了足够能打的开源模型，意味着我能把整套思考流程完整地锁死在同一块屏幕上。这种连贯性比跑分更加值钱。
按照常理，运行在更强悍硬件上的更大体量模型理应碾压对手，但实测数据颠覆了这条铁律。这恰恰是规格参数表最会撒谎的地方。我拿桌面模型和手机模型跑了无数次完全一致的提示词，得到的结果几乎称得上离谱。一台iPhone 16上，4B大小的模型能稳稳当当地跑出大约13 tok/s的速度，换成2B的模型甚至能飙到20 tok/s往上。而我的台式机呢？在LM Studio里挂着9B的模型，我把GPU卸载拉到极限，还得腾出资源保证其他应用活着，一套精打细算下来，处理同样的任务，它只能跑到9 tok/s。同一家族的模型，同样的输入，跑在更孱弱硬件上的小家伙却实现了反超。
拖垮桌面端的元凶出在卸载行为上。LM Studio允许我把模型的Transformer层往GPU上堆，可每推上去一层，显存就跟着吃紧一块。一旦我那可怜的8GB显存装不下整个9B模型，溢出的部分就会被甩进系统内存慢慢磨。这一进一出，速度直接从起飞变成匍匐。手机的芯片架构虽然是整合式的，但恰恰因为没有了数据在显存和内存之间的狼狈倒腾，端侧推理的效率和体验反而被悄然拉满。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
