网易首页 > 网易号 > 正文 申请入驻

8GB显卡跑9B模型,截图识图竟追平Claude

0
分享至

截图大概是人们丢给聊天机器人最常见的东西之一。不用花几分钟把屏幕上的内容敲出来,一张图丢过去,信息就进去了。也正因如此,图像理解成了为Claude、Gemini这类旗舰模型付费的重要理由之一。


相比之下,小体量的本地模型在视觉能力上一直偏弱,尤其是在只有8GB显卡的情况下——跑不了9B以上的模型,上下文也开不到30k以上。但本地模型似乎已经追上来了,至少纸面上是这样。于是有人把平时习惯丢给Claude和Gemini的截图与照片,原样喂给了自己RTX 3070上的一个9B模型,看它到底有没有一拼之力。

这个9B模型,眼睛从哪来

受限于测试新开源模型的条件,找到Qwythos 9B时颇为兴奋——它在显卡上跑得相当顺。这是社区团队Empero AI的微调作品,这家小实验室的做法是拿现有开源模型重新训练,Qwythos 9B v2就是他们对阿里巴巴Qwen 3.5 9B的改造版本,用了一种叫FTPO的技术来减少循环输出,同时保留推理能力。

关键在于,这些训练并没有动到它“看”的部分。按Empero的模型卡说明,只有文本侧被训练过,视觉部分保持冻结。所以一开始它看起来并不是图像能力最强的选择。不过它继承了Qwen的视觉塔,理论上总该有点用处——实际表现也确实如此,取决于你发什么给它。

Qwen自己的模型卡给出的数据是:这个9B在OCRBench上得89.2,这项测试考的是读取图片中的文字;在ScreenSpot Pro上得65.2,考的是模型能否在繁杂的软件界面里找到特定按钮。这些是阿里巴巴给出的数字,只能当作粗略参考。但与Qwythos的实际体验基本吻合——UI场景不算最强,图片里的文字却相当能打。

视觉能力还需要一个更小的配套文件,叫视觉投影器,负责把图像转换成语言模型能处理的形式。LM Studio内置的下载器会自动把它抓下来。Qwythos的Q4_K_M版本体积为5.74GB,再加上约0.9GB的投影器,8GB显卡上仍有富余。

小模型对上Gemini和Claude,看图里有什么

过去一年里,Claude、Gemini和本地模型各自承担着不同的图像任务,在工具栈里各有位置。要标准化对比并不容易,能做的只是给它们相同的图片和提示词。原本并不指望Qwythos能胜出,毕竟对手是Opus 5.5和Flash 3.8这样的主力选手,目的只是看它能不能跟上。

在文字为主的截图上,它跟得非常好。比如从一张杂乱的桌面截图里提取某一条聊天机器人回复,Qwythos逐行抄了出来,与Opus几乎逐字一致,而Gemini反而抓错了图中的部分。文件和文件夹截图同样顺利——文件浏览器和设置面板大多是标签和数字,它甚至发现了一个文件:其标注的类型与扩展名对不上。

可以说,如果你发截图的主要目的就是省去重新打字,那么8GB显卡上的9B模型大概率能帮上忙。

但当图像需要在复杂视觉元素之间做判断时,它就开始晃了。在一张关于修改项目帧率的视频编辑器弹窗上,Qwythos把内容全读对了,然后解释了每个按钮分别在什么情况下按,却没有做出选择。Opus立刻指出了问题所在,说明了原因,还标记出弹窗里的文件名与时间线上的片段名不一致。Qwythos也把两个名字都读对了,但没把这种不一致当成值得核查的事。它的回答也偏长,不过在这张卡上大约每秒20个token,等待时间很短,而且这可以用Claude和Gemini并不开放的那些设置来收敛。

留在自己电脑里的那些图

不想传到云端的照片,恰恰是最容易读的。这类场景大多是私人截图,而不是按钮或应用窗口。最典型的例子是一张药品照片,或者一张恰好露出个人文件名、登录信息、账单、合同等可识别内容的截图。这些图对Qwythos来说读起来轻松,也最不容易出错——不需要完整的UI布局分析,只需要把信息提取出来。用它,也不必去研究数据保留政策,或者操心退出模型训练的事。

不是每张截图都需要前沿模型。有意思的是,当初选Qwythos是看中它那种Claude式的思考,而它表现最好的任务,恰恰是这种思考最不重要的任务。这个月的Gemini订阅还没续,正在考虑是否还值得——重活交给Claude,私密活交给Qwythos,剩下的并不多。而读图这一侧,覆盖了发给任何模型的大部分内容,无论公私。订阅这笔账,开始算不平了。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
1-1!凯恩被飞铲,1.8亿先生伤退,拜仁主场损兵折将,恐让出榜首

1-1!凯恩被飞铲,1.8亿先生伤退,拜仁主场损兵折将,恐让出榜首

我的护球最独特
2026-11-21 05:32:30
CBA杯赛小组赛最终排名!山东北京等8队晋级,淘汰赛对阵时间出炉,辽篮再遇老对手

CBA杯赛小组赛最终排名!山东北京等8队晋级,淘汰赛对阵时间出炉,辽篮再遇老对手

老吴说体育
2026-11-20 23:31:30
油价从6块冲到9块再回8块,账单降了,老百姓的心却回不去了

油价从6块冲到9块再回8块,账单降了,老百姓的心却回不去了

沙雕小琳琳
2026-11-21 00:57:39
飞了60.4公里就落地,国产电动飞机被骂惨!真正看点根本不是航程

飞了60.4公里就落地,国产电动飞机被骂惨!真正看点根本不是航程

老娱记啊
2026-11-19 15:31:44
从全网泪目到全网群嘲,赵本山只用了三天

从全网泪目到全网群嘲,赵本山只用了三天

梳子姐
2026-11-19 12:05:24
真没仁了!拜仁惨烈1-1:凯恩伤退 奥利塞拄拐离场 5个前锋全部受伤

真没仁了!拜仁惨烈1-1:凯恩伤退 奥利塞拄拐离场 5个前锋全部受伤

风过乡
2026-11-21 06:14:30
NBA最新MVP榜:字母哥从第11飙升至第3,东契奇蝉联榜首

NBA最新MVP榜:字母哥从第11飙升至第3,东契奇蝉联榜首

体坛周报
2026-11-21 07:06:19
特朗普在深圳没拉车窗帘,这个细节让美国特勤局集体沉默

特朗普在深圳没拉车窗帘,这个细节让美国特勤局集体沉默

歪歌社团
2026-11-20 07:01:47
现在,是所有资产都下跌的时代

现在,是所有资产都下跌的时代

云中有一鹤
2026-11-20 12:45:18
骑士力克步行者!3人功不可没:哈登51分破纪录,打脸阿特金森

骑士力克步行者!3人功不可没:哈登51分破纪录,打脸阿特金森

董说体育
2026-11-21 10:58:48
高考再次证实张桂梅:教育最大的骗局,就是盲目推崇“释放天性”

高考再次证实张桂梅:教育最大的骗局,就是盲目推崇“释放天性”

云舟史策
2026-11-19 07:16:32
科技大跌的原因?通富微电跌停,董事长带货卖茶!股民:周一够喝一壶

科技大跌的原因?通富微电跌停,董事长带货卖茶!股民:周一够喝一壶

金石随笔
2026-11-21 08:06:52
36岁奥斯卡影后当众掀衣秀假体:我是完整C杯

36岁奥斯卡影后当众掀衣秀假体:我是完整C杯

时光慢旅人
2026-11-20 11:03:53
一路走好!不到48小时,2位名人被曝去世,58岁蔡国庆让人担忧

一路走好!不到48小时,2位名人被曝去世,58岁蔡国庆让人担忧

原梦叁生
2026-11-20 16:19:08
高市内阁的第二块骨牌,也要倒了

高市内阁的第二块骨牌,也要倒了

天真无牙
2026-11-20 17:54:51
美国下月举办G20峰会期间,是否会举行第二次中俄美三国元首会晤,外交部回应

美国下月举办G20峰会期间,是否会举行第二次中俄美三国元首会晤,外交部回应

政知新媒体
2026-11-20 15:25:01
董路疯狂嘲笑马德兴:U17国足绝不摆大巴?要踢进攻足球?哈哈哈哈

董路疯狂嘲笑马德兴:U17国足绝不摆大巴?要踢进攻足球?哈哈哈哈

念洲
2026-11-21 07:56:20
紧身短裤,是跑步最尴尬的装备

紧身短裤,是跑步最尴尬的装备

跑者排球视角
2026-11-20 06:59:54
这则宣扬“几乎不休息”的新闻,上热搜了

这则宣扬“几乎不休息”的新闻,上热搜了

吴女士
2026-11-20 14:03:42
墨西哥总统辛鲍姆搭乘南航CZ8031返程,抵墨后发文致谢机组

墨西哥总统辛鲍姆搭乘南航CZ8031返程,抵墨后发文致谢机组

读创
2026-11-20 20:25:07
2026-11-21 11:48:49
像素与芯片
像素与芯片
有态度网友ytd
239文章数 85关注度
往期回顾 全部

数码要闻

大疆多款产品“如期”涨价:涉Osmo Pocket 4/4P/Nano,最高涨560元

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

科技要闻

老黄想回来?英伟达董事会:没门

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

健康
家居
数码
房产
公开课

医生眼里"很伤腰"的椅子,很多人天天坐

家居要闻

2026建博会(广州) 公装联探展交流活动

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版