北京
“我曾坚信，我的老RTX 2070 Super跟AI推理彻底无缘。”做出这个判断的时候，我已经在心理上把这张2019年的图灵架构显卡划到了AI应用的废品堆里。8GB显存——在近来发布的Blackwell和RDNA 4入门卡都还在沿用这个配置的年代，几乎成了所有AI工作流的天然门槛。直到某天，纯粹出于好奇，我通过Ollama在上面跑了几个模型，一切偏见瞬间被击得粉碎。
事情的起点很平淡：我只是想看看，抛开了云端API和租来的算力，一张被时代落下的旧卡到底能不能在本地AI上做点什么。结果，我总共试了四个模型，其中两个的表现远超预期，不仅跑得起来，而且实用程度足以替代我日常中好几项付费服务。这篇文章就沿着测试的时间线，还原这个从怀疑到兴奋的发现过程。
我首先瞄准的是视觉多模态模型——这类模型一直是低显存设备的软肋。原因在于，多模态模型需要为专用视觉编码器预留一部分显存，图像还没开始处理，就被吃掉了一块空间。在我那张拥有16GB GDDR6X的RTX 4070 Ti Super上，这点开销几乎无感，但在8GB的2070 Super上，它直接决定了一个模型是安安稳稳待在显存里，还是溢出到系统内存，然后速度骤降到无法使用。所以很长时间里，市面上几乎没有能让我满意的轻量视觉模型。
GLM-4.6V-Flash 9B就是为我这类处境量身定做的答案。以Q4_K_M精度量化后，整个模型可以在8GB显存中舒舒服服地躺下，短文本上下文的处理速度也够快，不会让人等得烦躁。更关键的是，它对截图的阅读理解精度出奇地好。现在我的日常工作流变成了：截图Benchmark跑分表格、从桌面抓取规格文档，然后直接丢进聊天窗口给它看，几秒后就能拿到我想要的孤立数据或对比结论。这款模型把“本地截图OCR+问答”这个场景做得几乎零门槛，省掉了反复切换云端图床上传的摩擦。
唯一需要留意的短板是上下文长度。当对话内容攀升到大约16K token后，输出质量开始明显衰减。所以它的定位也很清晰——短会话的信息萃取器。可我日常绝大多数需求，恰恰就限制在这样一个窗口里，这让它的存在感异常强烈。
跑通视觉任务后，我的好奇心蔓延到了代码生成。轻量模型写代码？长久以来我对此抱持着顽固的怀疑。然而Qwen3.5 4B成了第一个让我放下成见的模型。同样采用Q4_K_M量化，它只占用区区2.5GB显存，把大把空间留给了上下文——最高支持到256K token。这意味着我那些随时随地冒出来的、Python小工具式的零碎念头，几乎全都可以在本地即时实现，再也不用把灵光一闪的片段整理成Prompt丢给云端，然后在一来一回中耗光热情。
当然，要企盼它去完成需要跨文件协作的、多步骤的软件工程任务，显然不现实。但话说回来，你绝对不会用一台4B小模型去扛这类活儿——那本来就是Qwen3-Coder 30B这类大容量专家模型的舞台。如果你的显存吃得下30B，它多数情况下会是毫无争议的首选。然而在单一脚本、逻辑简单的“氛围编码”范畴里，4B这个小个子把响应速度和准确率平衡得颇为老练，它让快速原型从想法到可运行脚本的链路缩短到了几分钟，再配上2070 Super近乎安静的运转，整个体验轻快得不像是在跑本地AI。
这段经历给我的最大启示，并不是“某某模型有多强”，而是我们太容易高估AI的硬件门槛，也太容易低估“够用”这个状态的含金量。当一张五年前的8GB显卡都能在Ollama里同时伺候好几个实用尺寸的模型，云AI在响应延迟、隐私控制、以及离线场景上的成本就被瞬间放大。本地模型的低显存可行性，正在把“日用级AI”从少数高端显卡用户的特权，拉向一个更平民化的区间。
过去，我们谈论本地AI总是习惯性盯紧顶配硬件，好像只有16GB、24GB才有资格谈推理。但实际跑过才知道，8GB这个被许多玩家打入冷宫的规格，完全可以撑起一整套高频率、轻量化的个人AI工具链：一个视觉问答器帮你快速消化屏幕上的图文，一个编程助手把你的随手想法变成可运行脚本，顺便还能剩出一点空间照顾其他任务。这次测试后，我再也不会用“显存不够”为理由推迟本地AI的尝试了。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
