微信视觉团队开源WeVisOne-VL，相关岗位热招中|vl|评测|旗舰基座模型|wevisone

微信视觉团队开源WeVisOne-VL，相关岗位热招中

分享至

让视觉模型在图里找一样东西，它通常会给出一个框。可如果这样东西根本不在图里呢？

在一项专门考“图里没有”的公开评测中，两个同类开源模型分别只有 0.3% 和 1.3% 的情况回答了“没有”，其余几乎都硬给出了一块区域。找不到，也要凑一个答案。

近日，微信视觉团队正式开源 WeVisOne-VL —— 一个用同一套模型完成找物体、数数量、读文字、分割和抠图的视觉模型。在上述公开评测集 Ref-ZOM 中，它（4B 版本）回答“没有”的比例达到 86.0%；在团队自建的评测集 WeRef-Bench 中达到 96.4%，对比模型中最高为 73.0%。

当没有符合目标的答案时，它会直接返回 None。

·项目与代码：Tencent / WeVisOne-VL

·技术报告：https://arxiv.org/abs/2610.31329

·在线体验：

https://huggingface.co/spaces/hugging-apps/wevisone-vl-2b

https://huggingface.co/spaces/hugging-apps/wevisone-vl-4b

·模型权重：

https://huggingface.co/tencent/WeVisOne-VL-2B

https://huggingface.co/tencent/WeVisOne-VL-4B

·公开评测复现说明：

https://github.com/Tencent/WeVisOne-VL/blob/main/evaluation/README.md

解决｜先教它分清有没有，再让一个模型干多种活

○ 专门练习“图里没有”的题

要让模型敢说“没有”，就得让它在训练里见到这类题：出这类题并不简单，因为模型没找到，不代表图里真的没有，也可能只是漏看了。

所以团队会对照整张图逐条复核：确认没有任何对象同时满足描述里的属性、动作和关系，才把它当作“没有”的题；一旦发现目标，就改回正常标注。

训练时还会重点练两类错题：一类是图里没有、模型却硬框了；另一类是图里有、模型却漏了或选错了。两类一起练，模型才不会为了少犯错，动不动就说“没有”。

但只会拒绝也不行。在 WeRef-Bench 中图里确有目标的题目上，4B 的定位得分为 78.7，同表最高对比模型为 51.7。面对确认没有目标的题，只有什么都不框，模型才能拿到奖励。它没有因为学会说“没有”，就变得不敢找。

○ 用 1 亿张标注图，教它找得准、描得细

图里真有目标时，还得找得准、描得细。为此，团队搭建了一套自动标注流程，由多个模型定位、交叉校验，再补上轮廓和透明度，累计标注超过 1 亿张图像、约 36 亿个目标框。

○ 画框、读字、抠图，交给同一个模型

找东西要画框，读字要给出文字和位置，抠图要精确到每个像素，过去这些往往分给不同模型来做。WeVisOne-VL 把它们写成同一种输出格式，一个模型全部学会，换任务不用换模型。

例如：一张海边照片，让模型把照片里的人找出来。同一张图，三种结果的差别是这样的：

图：基于 WeVisOne-VL 示例原图与抠图结果制作，框和分割为对比示意。

• 框：画一个矩形，告诉你人大概在哪。但框里还带着海水和栏杆，没法直接拿去用。

• 分割：沿着人的轮廓描边，每个像素只分“是人”或“不是人”。被风吹乱的发丝很细，夹在海水之间，一刀切下去边缘发硬、带毛刺。

• 抠图：再算出边缘每个像素“有几分是人”。发丝处可能只有三成是人、七成是海水，放到新背景上，飘起的头发也能自然保留。

后两种都要精确到像素。以前的常见做法是先用一个模型画框，再把框交给 SAM（Meta 开源的通用分割模型），由它沿着轮廓把目标分出来；而在WeVisOne-VL 则用模型里一个约 960 万参数的小模块直接完成，不需要再额外接一个 SAM。

○ 合进一个模型后，单项成绩并没有变弱

开源｜可在线试用，也可本地部署

项目已开源 2B、4B 两个版本的权重，以及技术报告、教程、评测代码和标注工具 Mask2Alpha，采用 Apache 2.0 许可。可以先在网页 Demo 试用，也可以在本地运行。

文中数据来自团队技术报告。当前版本只支持图片输入。

从判断“有没有”，到给出框、文字和抠图，WeVisOne-VL 把这些放进了同一个模型。图里有，就尽量找准；图里没有，就大声说 None。