一块RTX 5090跑四个大模型：最快与最慢差2.4倍

一块RTX 5090、128 GB内存，四个参数量从125B到748B的开源模型，全部塞进同一台工作站。过去几周，我把它们分别跑在三种不同的运行时上，并在2026年10月21日同一天、用同一套基准挨个测完。下面这些数字全部来自这台机器当天的实测。

四个模型都是混合专家（MoE）架构——每个token只有一部分参数参与计算，这正是它们能挤进单张显卡的前提。运行时的做法是把最常用的专家留在显存里，其余放进内存；Maya跑DeepSeek时，生成过程中还会从固态硬盘读取部分模型。

先看机器和测法

显卡是RTX 5090，32 GB显存，同时还要驱动桌面，所以每个运行时都预留3 GiB给它。CPU为Ryzen 9 9950X3D（16核32线程），内存128 GB DDR5（4×32 GB，5600 MT/s），单块NVMe硬盘，系统Arch Linux，驱动615.78，CUDA 13.4。

测试时一次只开一个模型，各自用独立脚本启动，不跑其他模型运行时或挖矿程序。解码速度用客户端流式基准打OpenAI接口，八次运行交替使用约400词的荷兰语散文提示和一段编码提示（带测试的二分查找），贪心解码，输出512个token，取中位数；首token时间同样取中位数。

长上下文用“大海捞针”测：提示约31K和约125K token，针是藏在荷兰语填充文本里的一段代码，每次换随机种子，避免前缀缓存帮忙。由于各家分词器不同，长提示实际为Qwen 124.6K、DeepSeek 125.4K、GLM 127.9K、Ornith 131.5K token。

速度：Qwen一骑绝尘

四个模型在两个长度上都找到了针。长提示的预填充耗时直观说明了差距：Strata上的Qwen 29秒，Maya上的GLM 53秒，TabbyAPI上的Ornith 103秒，Maya上的DeepSeek 182秒。

Qwen在Strata上属于另一个量级：解码速度是第二名的2.4倍，预填充也最快。一个可能的原因是激活参数量——按模型卡，Qwen每token约6B，GLM约18B，前者每个token要过CPU和PCIe的权重少得多。Strata本身是为这一模型家族专门打造的运行时，也起了作用；两者各占多少，没有单独测量。

基准统计的是各API返回的usage数字，不是流式分块。这对Ornith有影响：TabbyAPI以约两个token为一块流式输出。

质量：九项日常任务

质量测试用了九项日常工作：两个JavaScript写的Astro辅助函数、两段在PHP沙箱里跑的WordPress PHP片段、JSON格式的SEO元标签、LocalBusiness JSON-LD、一次Search Console工具调用、一次Search Console快速见效分析、一段荷兰语博客开头。每轮54分，共两轮，推理强度中等，各服务器默认采样，第二轮倒序运行。

出错情况：GLM第一轮漏掉Search Console快速见效分析（3项检查0分），第二轮满分。Ornith两轮错的任务各不相同——一个Node加载不了的Astro站点地图辅助函数（导入错误）、JSON-LD任务的一项检查、一段有PHP语法错误的WordPress面包屑片段、Search Console分析，以及荷兰语博客开头的一项检查。

每轮耗时和分数一样说明问题。Qwen和GLM约两分钟跑完九项；DeepSeek需要13分钟，因为它每轮写约15,700个token，速度21 token/秒；Ornith写得更多，约20,700个token，大部分是推理，耗时近10分钟；GLM写得最少，约3,200个token，所以即便解码慢，整体也快。

这些任务奖励的是正确、细致的输出，而非深度推理，它们不能告诉你哪个模型最聪明，但能告诉你哪些可以放心接手日常工作、不必逐条核对答案。

内存与显存

显存峰值取nvidia-smi在捞针测试期间报告的整卡最高值，因此包含桌面和两个浏览器（模型启动前约1.7 GiB）。每个运行时在自己的占用之外还保留3 GiB；算上桌面，GLM和Qwen在峰值时剩下的空闲略少于这个数。Strata和Maya跑GLM时几乎把全部内存钉给专家层，旁边放不下别的大东西。Ornith的65.5 GB量化版留出的空间最多。

DeepSeek的引擎机制不同：它原地读取模型文件，所以free把大部分占用算作页缓存，显示约100 GiB可用——别把这当成空闲内存。引擎依赖这份缓存，旁边启动任何东西都会把专家挤出去，然后又要从固态硬盘重新读。实际使用中，它和另外两个一样吃满整机。

什么时候用哪个

• Qwen3.8-Flash-Next + Strata：编码和智能体工作的默认选择，样样最快，两轮任务满分，512K上下文。
• GLM-5.3-Flash + Maya：第二意见，模型大得多，512K上下文，速度约为前者三分之一。
• DeepSeek-V4.1-Flash + Maya：这里最大的模型，也最慢，适合能等的难题，不适合交互。
• Ornith-1.5-122B + TabbyAPI：留出内存最多，速度尚可，日常任务得分最低。

一台桌面能跑下这些，靠的是运行时在对话过程中把专家在显存、内存和固态硬盘之间搬运。代价是一次只能装一个模型，切换要停掉再启动脚本。

需要说明的局限：一台机器、一天的数据，换硬件、换驱动或换一天都可能不同，而且四个运行时迭代很快——仅Maya 1.1.17就让DeepSeek的长提示读取比1.1.16快了约八倍。两轮九项任务样本不大，单次失误可能是噪声。GLM这次测得27.5 token/秒，前一天同版本同配置是30.8，两天空闲内存相近，没有复测，原因不明。各模型均使用运行时默认采样和中等推理强度，逐模型调参可能改变质量排名。