网易首页 > 网易号 > 正文 申请入驻

微信开源 WeVisOne-VL,找物、抠图,要包办 90%图片工作

0
分享至

在对图像处理的工作流中,我们经常要做几件小事:找出某个人,数一数商品,读出包装上的字,再把主体抠出来。

单看每件事,好像都不难,好像都有现成工具。但实际上,两个大痛点持续存在:

  • 第一,虽然现在已经 AI 大纪元了,但实际上,各个厂商都卯着劲儿干通用大模型,这些边边角角的垂类模型,没啥人干,所以进展缓慢……
  • 第二,每个需求单看有解法,但放到一次完整的工作里,仍然要切换软件、重新选择对象、检查结果,没办法“一模包办”。

这个问题,最近微信官方下场解了。微信视觉团队开源了一个新模型 WeVisOne-VL,把图片相关的处理,放进同一套模型,在测评集中,答对比例比同类模型高出 32%。


WeVisOne-VL 提供 2B、4B 两个版本,可以输出位置、数量、文字,以及分割和抠图结果。官方介绍的数据规模也很醒目:超过 1 亿张标注图像,约 36 亿个目标框。

我们取一些实际例子进行测试,同时也看一下,这套模型本身,能够在什么场景下创造出新价值。

01干活实测:找人、数棋子,再看看读字和抠图
找人

第一张是 Demo 提供的是乐队照片,画面里有弹琴、打鼓、拿吉他和唱歌的孩子,要求是找出“拿着麦克风的男孩”。模型返回了两组位置坐标。


根据坐标叠回原图后,画面中间拿麦克风的两名男孩被圈了出来,麦克风、男孩、还有“拿”这个动作,都被解析出来了。

接下来,继续使用同一张照片,把指令改成寻找“拿着小提琴的男孩”,实际上,肉眼可以辨别出来,画面里有多种乐器,但没有小提琴。AI 需要识别正确,不仅需要识别物体,还需需要辨认人物和动作关系:同样是男孩,弹琴、打鼓的人不应该被选进去。

这次返回的是:

1

boys holding violin none

返回了 None,意思是 空,表达并没有“拿着小提琴的男孩”,识别结果正确。

在这道题里,它没有把吉他或其他东西硬认成小提琴,也没有随便圈一个人。这个值得额外强调下,识别“不存在”,实际上比认出某个物体更难,很多情况下,因为 AI 有求必应的特性,就算图里没有,模型也常常硬给出一块区域,找不到,也要凑一个答案。

但这个场景又非常重要,图片处理经常会遇到“不存在”的情况。比如识别素材里没有要求的对象,货架上没有某个商品,包装上没有某段文字。系统如果仍然给出位置,后面的裁切、计数和信息提取就可能跟着出错,各种判断也不会准,没有办法放心的在现实流程中应用。


数棋子

第二组,我们测试数棋子,这是一个有点挑战的测试题。

一张国际象棋照片,选择带框计数,要求统计“白色棋子”。实际运行后,模型返回了 16 个目标框,总数 16。


计数是准确的,并且逐个框选之后,后续流程可以很方便的继续核对有没有漏检、重复计算,或者把黑棋算进去。

现实世界中,除了数棋子,还有烧烤店数串签、水果店数库存等等。官方提供了一组水果摊的密集检测案例:苹果、橙子摆在多个筐里,对比的其他模型基本上都没有识别准确,但是 WeVisOne-VL 准确给出了数量,并且清晰地给出坐标。



OCR 认字

OCR 能力实际场景中很常见,并且市面上已经有一些 OCR 模型做的比较不错,比如 Xiaomi-OCR-0、百度 Unlimited OCR 2、DeepSeek-OCR 等,但这些模型强大归强大,但都有一个问题,就是他们都是专用模型,只能干 OCR,干不了别的。

如果图片处理需要同时处理文本识别和其他能力,过去都得接多个模型,徒增成本,WeVisOne-VL 则把这些能力收在一起,不仅可以做其他的处理工作,OCR 的水平也很不错。

OCR 对比图中,分别尝试了招牌、食品包装、小票与文字说明图,这些都是常见的 OCR 场景。

左边第一列是原图,第二列和第三列是其他对比模型,右边一列是 WeVisOne-VL。


官方教程还展示了指定文字定位:同一张咖啡店招牌,既可以识别全部文字,也可以只寻找 SMALL ALLEY 这段字的位置。两种能力,读取内容与寻找指定信息,因而可以使用两种接口,用于不同场景。



图片分割

分割的一组例子很直观,桌面摆着多个遥控器,指令要求选中最左边一个和从右数第三个,官方结果将这两个对象分别描了出来。



抠图

来到抠图,这个直接看效果吧,最右侧一列是 WeVisOne-VL。

  • 第一组是找出鸡圈里的鸡,其他模型或多或少都有一些错误,WeVisOne-VL 完全正确;
  • 第二组是抠除冰山,其他的模型由于采用像素抠像,导致抠出来的结果丢失了大量细节,WeVisOne-VL 则保留很完整;
  • 第三组是一张热气球照片,要求抠除球体上的文字为“Daikin”的指定对象,这些文字本身是花体字,还有遮挡,相当于既需要 OCR,又需要识别出和其他热气球边界,还需要抠图,三件事同时进行,WeVisOne-VL 的效果很惊人。


02从一句指令到一张抠图,模型里发生了什么?

前面这些功能,可以放到一个连续的过程中理解:用户说清楚要找什么,模型确定对象,再按任务要求给出不同精度的结果。

WeVisOne-VL 开源的同时,也公布了完整的技术报告,我用简单易懂的方式简单讲讲原理。


基于 Qwen3-VL 的三步推理

以“把穿黑衣服的人抠出来”为例,模型需要做的事情是,既要理解“穿黑衣服”这个条件,也要在图中选对人,最后还要处理衣服和发丝的边缘。这几件事,分别对应模型里的不同部分。


首先,由 Qwen3-VL 提供看图和理解指令的基础。

WeVisOne-VL 在 Qwen3-VL 上继续训练。图片进入视觉编码器,变成模型可以处理的图像特征;这些特征和文字指令一起交给语言模型,用来判断用户描述的是谁、在哪里。图像编码器与语言模型构成它的主体,另外还有一个负责像素结果的解码器。

接着,用统一格式表达“选中了什么、位置在哪里”。

找人时,模型输出对象名称和框的坐标;数棋子时,输出多个框或点以及数量;读字时,输出文字及其位置。它把这些任务都组织成结构化的输出,坐标也有专门的符号表示。

这就解释了为什么同一个模型能完成多种任务:它们共享了“理解描述、确定对象、给出位置”这套基础能力,再根据要求输出框、点、文字或数量。前面实测返回的两个人物框、16 个棋子框,正是这种输出的具体表现。

需要分割和抠图时,再由像素解码器处理轮廓和边缘。

模型在每个目标框后生成一个特殊标记 ,把这个对象的内部表示传给解码器。解码器同时读取目标框和视觉编码器已经提取的多层图像特征,生成该对象的像素级轮廓或透明度图。

分割需要的是对象与背景的区分;抠图进一步保留连续的透明度,以表现细发丝和半透明边缘。这个约 960 万参数的解码器复用了主体模型的视觉特征,推理时不必再外挂一个大型 SAM 分割模型。

所以,文字选对象和精细抠图之间,有了一个明确的衔接:语言部分决定处理谁,像素部分决定怎样把它分出来。选错了对象,问题出在前面;对象选对、发丝处理不好,则要检查后面的像素结果。


专门训练难题解决能力

这套架构之外,训练也决定了它怎样处理难题。

团队用数据引擎将对象描述、位置框、分割轮廓和透明度标注关联起来。训练先让模型学会统一的输出格式,再加强小目标和密集场景,随后接入像素任务,最后通过强化学习优化定位结果。

“图里没有”的问题也被专门纳入训练:既纠正不存在却乱框的情况,也纠正目标存在却漏找、选错的情况。这样,模型在作出位置预测时,也需要学习何时应该返回空结果。团队还专门自建了一个 WeRef-Bench 的数据评测集,针对无目标问题的正确拒绝率进行训练。

WeVisOne-VL 的特点,落在这些环节的配合上:多项任务共用对象与位置的表达,像素解码器把定位接到分割和抠图,无目标训练则减少后续流程收到错误对象的机会。

当然,这并不能说 WeVisOne-VL 就是无敌了,官方也明确提到了两点局限性:

  • 复杂遮挡、透明物体和模糊指令,仍然对模型有巨大挑战;
  • 为了提高推理效率,该模型直接生成结构化输出,没有显式的思维链(CoT)推理。
03从处理一张图,到接进一套图片工作流

回归到应用层,我们可以根据 WeVisOne-VL 的能力特性,找到它的应用场景。

对内容团队和电商运营来说,比较直接的用途,是按描述提取人物或商品,再交给排版、换背景等后续环节,比如素材管理可以利用定位结果筛选合适的商品,商品盘点和包装信息提取则可以使用计数与 OCR 能力。

这些场景共同需要的,是让模型返回可继续处理的位置、文字或图片文件。使用方式也可以顺着需求逐步展开。

初步体验效果,可以使用官方提供的在线网页 Demo:

  • 2B 版本:https://huggingface.co/spaces/hugging-apps/wevisone-vl-2b
  • 4B 版本:https://huggingface.co/spaces/hugging-apps/wevisone-vl-4b

进入页面后,选择找物、计数、OCR 或抠图等任务,再提供图片和描述,就可以观察输出。推理在服务器上完成,不需要先把模型装到自己的电脑里。我们前面的三项测试,也是这样运行的。

要反复处理一批图片,就使用官方推理包。

开发者需要先在具备合适运行环境的设备或服务器上安装推理包、加载模型权重。之后每次调用,主要提供三样东西:图片、任务类型,以及目标描述。例如选择抠图任务,目标写成“person”,程序便可以取得对应结果,再保存透明度图和带透明通道的图片。

详细的开发者文档可以参阅:https://github.com/Tencent/WeVisOne-VL

同一个程序可以依次读取文件夹中的图片,把输出保存到指定目录,记录没有找到对象或处理失败的文件。对已有网站、素材库和运营系统,也可以将这段程序封装成 HTTP 服务,由业务系统提交任务、取回结果。模型负责视觉处理,批量调度、文件命名和复核流程需要由应用补齐。

对于大多数人来说,也可以直接接入 Claude Code、Codex 或者 DeepSeek Harness,让 Agent 对其进行调用。

可以向 Agent 提出任务:


“把 WeVisOne-VL 封装成可调用的脚本,调用 WeVisOne-VL 把文件夹里的商品逐张抠出来,统一保存为透明背景图,并列出需要人工检查的图片。”

和通用 Agent 的协作,是 Agent 负责做大脑,调用脚本、遍历文件、安排步骤和汇总结果,WeVisOne-VL 干具体的处理图片的活儿,既达到更精确的效果,还节约 Agent 的成本。

挺有意思的,随着大模型能力的发展,一些外溢能力覆盖到专门领域中,做模型的思路也随之开阔。于是,图像、OCR、音频等垂直领域的模型,实际上在这段时间有井喷的趋势。

这些模型各有来路,参数规模也不同,但有一件事相通,它们把注意力落到了具体的能力上,切实改变细分场景的效率,我觉得挺好,有需要的团队可以用起来了。


作者:亨亨 登上《时尚芭莎》的中国产品经理

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
美股盘前芯片股下跌,AMD、英特尔跌超4%

美股盘前芯片股下跌,AMD、英特尔跌超4%

每日经济新闻
2026-11-16 17:38:02
刘欢在2008年北京奥运会上的着装至今仍有争议,因为那是一个举世瞩目的盛会,刘欢却只是穿了一件普通T恤就开始表演了!

刘欢在2008年北京奥运会上的着装至今仍有争议,因为那是一个举世瞩目的盛会,刘欢却只是穿了一件普通T恤就开始表演了!

财经要参
2026-11-01 16:00:05
18日中等强度冷空气携阴雨北风影响广东

18日中等强度冷空气携阴雨北风影响广东

广东天气
2026-11-16 17:54:54
女子家里常年有臭味,找不到来源只好搬家,离开当天房东急了

女子家里常年有臭味,找不到来源只好搬家,离开当天房东急了

潮河讲堂
2025-07-10 17:53:45
居然没了!特斯拉突然下架 Model Y 四驱基础版本

居然没了!特斯拉突然下架 Model Y 四驱基础版本

XCiOS俱乐部
2026-11-16 09:53:32
106票对73票!特朗普铁杆盟友胜出,将任众议院共和党领袖!

106票对73票!特朗普铁杆盟友胜出,将任众议院共和党领袖!

阿諢体育
2026-11-16 15:56:42
震惊!网传浙江一新员工父亲联系HR提多项要求:愿每月自掏5000给女儿加薪,请假外出需向他报备

震惊!网传浙江一新员工父亲联系HR提多项要求:愿每月自掏5000给女儿加薪,请假外出需向他报备

火山詩话
2026-11-16 16:02:11
堪比斯特林!阿森纳 6400 万水货沦为巨坑!阿尔特塔彻底翻车

堪比斯特林!阿森纳 6400 万水货沦为巨坑!阿尔特塔彻底翻车

澜归序
2026-11-16 10:47:21
半个月9家A股公司被立案,还涉及多位公司实控人

半个月9家A股公司被立案,还涉及多位公司实控人

第一财经资讯
2026-11-16 20:42:14
CCTV5直播时间表:国乒8人名单正式确定,王楚钦孙颖莎冲击四连冠

CCTV5直播时间表:国乒8人名单正式确定,王楚钦孙颖莎冲击四连冠

寒律
2026-11-16 19:44:15
比利时黄金一代落幕!又一巨星“退出国家队”,贡献135场94球

比利时黄金一代落幕!又一巨星“退出国家队”,贡献135场94球

汪星人哟
2026-11-16 20:57:17
北大399元羽绒服全网刷屏!网友:考不上北大我还穿不起北大羽绒服吗?

北大399元羽绒服全网刷屏!网友:考不上北大我还穿不起北大羽绒服吗?

城事堂
2026-11-16 11:05:13
A股:全体股民做好心理准备了,今天11.16,A股将要再次历史重演吗?

A股:全体股民做好心理准备了,今天11.16,A股将要再次历史重演吗?

股侠指北针
2026-11-16 07:44:21
最顶级的帝王权谋!道光发配林则徐去新疆,看似贬官,实则救了中国166万平方公里领土!

最顶级的帝王权谋!道光发配林则徐去新疆,看似贬官,实则救了中国166万平方公里领土!

深度知局
2026-11-15 17:37:43
全美航班集体停摆!空管升级要500,亿,王毅:中国不会走美国老路

全美航班集体停摆!空管升级要500,亿,王毅:中国不会走美国老路

无情有思ss
2026-11-16 20:53:02
岛内官宣!赖清德硬推这人来深圳参加APEC,国台办直接画下红线

岛内官宣!赖清德硬推这人来深圳参加APEC,国台办直接画下红线

天气观察站
2026-11-16 04:16:43
天啊!看到1987年春晚观众席的迟重瑞,才懂陈丽华为啥一见钟情

天啊!看到1987年春晚观众席的迟重瑞,才懂陈丽华为啥一见钟情

观察鉴娱
2026-04-09 09:36:18
10月31日德黑兰拒绝歼-10C的态度比石头还硬,压根就没想做纯粹的买家

10月31日德黑兰拒绝歼-10C的态度比石头还硬,压根就没想做纯粹的买家

辉辉历史记
2026-11-14 18:24:55
五常均已表态!中日矛盾持续升级,五大常任理事国不再沉默,接连亮明各自立场

五常均已表态!中日矛盾持续升级,五大常任理事国不再沉默,接连亮明各自立场

谈史论今1
2026-11-13 20:52:38
红薯被发现!再次提醒:高血糖患者常吃红薯,很快或迎来这5后果

红薯被发现!再次提醒:高血糖患者常吃红薯,很快或迎来这5后果

陈医生健康杂谈
2026-11-16 09:46:31
2026-11-16 21:51:00
产品变量 incentive-icons
产品变量
产品商业研究者 亨亨 的专栏,产品经理、创业者,非常强的结构化能力,坦诚分享实战中的商业思考
43文章数 3关注度
往期回顾 全部

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

头条要闻

80岁老人结束60多年包办婚姻:像捉鸡仔一样捉在一起

头条要闻

80岁老人结束60多年包办婚姻:像捉鸡仔一样捉在一起

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

官宣离婚不到1月,李小冉进医院

财经要闻

10万人逼宫英伟达 黄仁勋要复职了?

汽车要闻

标配激光雷达 极狐阿尔法S5上市 限时11.58万起

态度原创

旅游
本地
亲子
健康
公开课

旅游要闻

瞰中国丨山东济宁:运河冬色 层林焕彩

本地新闻

乌兰察布:以前种土豆,现在种Token

亲子要闻

直通部委|我国中小学幼儿园将聘任健康副校长 10月一线城市房价环比总体上涨

情绪真能让健康人"伤心至死"?

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版