网易首页 > 网易号 > 正文 申请入驻

微信内部的生产级模型,居然开源了

0
分享至

我们都知道微信团队很低调,低调到最近几天,微信视觉团队开源了自家的视觉向量模型,居然没人知道。

我要是不偶然间刷 GitHub 我也不知道。

这次开源的叫 WeMM-Embedding,GitHub 上直接能下,Apache 2.0 协议,可商用。

自家生产环境天天在用的东西,就这么放出来了。

这东西值得说道说道。

1 . 先搞清楚它是个啥

看到「微信开源大模型」,很多人的第一反应是:微信也能生成内容了?

不能。它生成不了任何东西。

WeMM-Embedding 是一个向量模型,你可以理解为图书馆里的编目员。它自己不写书,它干的事是把馆里每一本书,不管中文书,画册,还是录像带,都编成一张同一格式的索引卡。你拿着需求来找它,它把需求也编成卡,然后告诉你哪几张卡跟你的最像。

这个「编卡」的动作,技术名词叫 Embedding,就是把文字,图片,视频统统变成一串数字向量。向量之间的距离越近,内容就越像。

所以它的用途就一句话:检索和匹配。搜图,搜视频,找同款,做推荐,全靠它。至于你想让 AI 看图说话,写篇文章,那是另一类模型的活,和这个没关系。

2 . 技术上有什么讲究

这类模型其实不少见,阿里有,学术圈也有。微信这个版本,有几个点我觉得做得挺务实。

一套模型吃四种输入。 文本,图片,视频,还有视觉文档(就是 PDF 扫描页,财报,合同这类东西),甚至图文混着喂也行。以前你要做全模态检索,得好几个模型拼着用,现在一个搞定。注意音频不支持,这是它的明确短板。

三个尺寸,可大可小。 2B,4B,9B 三档,最小的 2B 版本,模型权重 4GB 左右,8GB 显存的消费级显卡就能跑起来。这个门槛有多低呢,大概就是你打游戏的电脑就能干。要提醒的是,喂长视频会明显吃显存,官方评测一条视频抽 64 帧,这时候显存占用是单张图的好几倍,部署时最好给视频单独限一下长度。

训练分两步走。 第一步大规模多模态对齐,让模型先学会把不同形态的内容往同一个空间里放。第二步用精筛数据做精修,加细粒度的相关性监督,外加一个「跨尺寸知识迁移」,你可以理解为让 9B 这位老馆长带一带 2B 的新徒弟,把小模型的分数也拉上去。这也是它 2B 版本特别能打的原因之一。

向量维度可以砍。 这是我最喜欢的一个设计,叫 Matryoshka(俄罗斯套娃)可变维度。完整向量是 2048 维,但你可以直接砍掉一大截,只留 256 维。官方数据是,砍到 256 维之后,图像和视频检索的性能几乎不掉。

维度为什么重要?因为向量数据库的存储和计算成本,跟维度直接挂钩。砍到八分之一,成本也就跟着砍下去。做检索系统的人都懂,这才是真金白银的地方。

3 . 官方成绩单

官方技术报告里的分数,确实漂亮。

在 MMEB-v2 这个多模态公开基准上,2B 版本拿了 77.9 分,阿里 Qwen3-VL-Embedding 的 8B 版本是 77.8,小模型打平了四倍大的对手。9B 版本 80.6 分,目前的开源最高分。更狠的 MMEB-v3 上,9B 拿了 59.5 分,也是第一。

要说明的是,这些分数出自官方报告,用公开基准自己跑的,大家参考着看。真要用,拿它跟竞品在自己业务数据上过一遍,谁好用谁。

4 . 微信自己在哪用

这是我认为它比大多数开源模型靠谱的地方:它是生产环境验证过的,不是刷榜玩具。

技术报告里写得很清楚,这套模型已经大规模部署在微信的推荐和搜索业务里,包括视频号,公众号,朋友圈,还有电商服务。内部 26 个任务的测试集上有明显提升,14 个在线 A/B 实验全部有正向收益。

啥意思呢,你每天刷视频号看到的推荐,背后就是它在算账。这套东西不是实验室里刷榜的样品,是天天在亿级日活眼皮底下干活的。

微信这种体量,能在这种场景里跑稳的模型,工程可靠性基本不用你操心。你拿去用,踩到坑的概率比用那些论文副产品低得多。

5 . 你拿它能干嘛

说几个普通人也能听懂的场景。

语义搜相册。 你输入「秋天傍晚的湖边」,它直接把你相册里符合的照片视频全捞出来,不需要你提前打任何标签。手机厂和 NAS 厂商现在都在做这类功能,底层就是这种模型。

以图搜图。 电商找同款,设计师找素材,版权方查盗版,都是它。

文档 RAG。 把合同,财报,论文这些 PDF 直接按页变成向量,用户提问时先搜出最相关的页面,再交给大模型去回答。以前这条路要先 OCR 识别文字,错一片,现在跳过 OCR 直接理解版面,效果反而更好。

内容去重和推荐。 内容平台判断「这两篇是不是洗稿」,短视频平台做「看了又看」,底层都是向量距离。

反过来说,如果你要的是让 AI 写文章,画图,生成视频,它一点忙都帮不上。它是系统里负责「找」的那一环,不负责「造」。

6 . 开源竞品都有谁

这个赛道 2025 年之后卷得很凶,值得拎出来说的就这几个。

阿里 Qwen3-VL-Embedding,最直接的对手,生态和文档比微信这边完善,分数略低,属于稳妥的次选。

GME,也是阿里系的老模型,视觉文档检索还行,图像视频明显掉队。

全模态一派,E5-Omni,Tianmu 这些,优势是支持音频,语音搜视频它们能干,WeMM 干不了。代价是图文视频的单项分数都打不过同尺寸的 WeMM。

说白了,如果你的业务不含音频,只看图文视频检索,WeMM 目前是同尺寸开源模型里的天花板。如果含音频,它直接出局,不用纠结。

7 . 哪些行业适合上手

最后按行业给个清单,各位对号入座。

电商行业,闭眼入。以图搜图,找同款,商品推荐,都是刚需,2B 版本就够用,一张消费级显卡跑全店商品库。

内容平台和 MCN,值得入。视频去重,洗稿识别,跨模态推荐,能省一大笔人工审核的钱。

有企业知识库的公司,文档 RAG 场景直接上。法律,金融,咨询这类天天跟 PDF 打交道的行业,收益最明显。

教育行业,可以做题库相似查重,课件资源检索,锦上添花但不是刚需。

如果你业务里有大量音频,播客,语音数据,别选它,去看全模态那一派。

如果你只是想要个聊天机器人,或者拿它跟编程模型比,那它跟你的需求压根不是一类东西。

开源地址在这:

https://github.com/Tencent/WeMM-Embedding

模型权重在 Hugging Face 上,搜 tencent/WeMM-Embedding 就有。

微信这次算是把自家看家的东西拿出来了。做多模态向量检索的兄弟们,该换装备了。

PS:最近星球有球友转行 AI,拿到了年薪 30w 的 offer,球友本人在星球的分享不会假。这真是很大的惊喜,跟我预测的一样,如今行情是各行业各种优化,生意不好做,反观只有 AI 行业和对人才的需求很大,再不全力拥抱 AI,可能就真的晚了。

想跟我们一帮互联网人学 AI 的,或者转行 AI 的,欢迎加入星球,今天是最后一天优惠,9 月份开始星球正式涨价,优惠加入链接在这里:「」

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
尼泊尔6岁女孩被埋废墟60小时后获救,两天后首次开口:妈妈,把小熊给我

尼泊尔6岁女孩被埋废墟60小时后获救,两天后首次开口:妈妈,把小熊给我

红星新闻
2026-09-01 11:36:21
你以为日本怕朝鲜,怕的是那几枚导弹?错了。日本真正睡不好觉的,不是射程,而是平壤压根不跟你玩

你以为日本怕朝鲜,怕的是那几枚导弹?错了。日本真正睡不好觉的,不是射程,而是平壤压根不跟你玩

人生录
2026-08-31 00:05:12
胜利夜男篮最郁闷之人!得分最低+正负值最低,不能再让他首发了

胜利夜男篮最郁闷之人!得分最低+正负值最低,不能再让他首发了

弄月公子
2026-08-31 23:21:37
“希望4个老人长命百岁”,女子晒3万多退休金,普通人的心却凉了

“希望4个老人长命百岁”,女子晒3万多退休金,普通人的心却凉了

泽泽先生
2026-08-31 16:19:21
贵州省委常委郭强任遵义市委书记

贵州省委常委郭强任遵义市委书记

中国经济网
2026-09-01 09:35:06
日本已直接出兵参战,与五万朝鲜军队正面交火,战况激烈。美国媒体彻底看傻了眼:一旦冲突继续升级,会不会真的引爆第三次世界大战?

日本已直接出兵参战,与五万朝鲜军队正面交火,战况激烈。美国媒体彻底看傻了眼:一旦冲突继续升级,会不会真的引爆第三次世界大战?

人生录
2026-08-29 00:05:14
51岁周迅打网球晒素颜,头顶白了一片,手臂肌肉比脸还抢镜

51岁周迅打网球晒素颜,头顶白了一片,手臂肌肉比脸还抢镜

仙味少女心
2026-09-01 10:46:38
又见翻倍大牛股!002084,7连板

又见翻倍大牛股!002084,7连板

中国基金报
2026-09-01 12:30:10
爆料称钉钉创始人无招或将加入蚂蚁集团

爆料称钉钉创始人无招或将加入蚂蚁集团

三言科技
2026-09-01 14:45:24
夏煊泽个人简历!他是哪里人?

夏煊泽个人简历!他是哪里人?

生活新鲜市
2026-09-01 01:32:41
英超:萨卡连场破门,阿森纳1-0复仇维拉,开赛三连胜宣战切尔西

英超:萨卡连场破门,阿森纳1-0复仇维拉,开赛三连胜宣战切尔西

钉钉陌上花开
2026-09-01 04:56:30
细思极恐!广州一5岁孩子被喂服2支藿香正气水,结果命悬一线:家里的常备药,千万别乱喂!

细思极恐!广州一5岁孩子被喂服2支藿香正气水,结果命悬一线:家里的常备药,千万别乱喂!

徐德文科学频道
2026-08-31 23:18:08
布尼亚明+李新翔落选,U23国足亚运会名单更信熟人,吴曦中场压阵

布尼亚明+李新翔落选,U23国足亚运会名单更信熟人,吴曦中场压阵

替补席看球
2026-09-01 15:50:48
孙楠吃素7年瘦了22斤,一点肉都不吃,早餐坚持吃纳豆体脂率12.3%

孙楠吃素7年瘦了22斤,一点肉都不吃,早餐坚持吃纳豆体脂率12.3%

椰黄娱乐
2026-09-01 10:18:13
胖东来员工休“自由假”带娃看演唱会,官方客服:入职就有10天“自由假”,无需上级审批,工龄满1年享有30天带薪假期

胖东来员工休“自由假”带娃看演唱会,官方客服:入职就有10天“自由假”,无需上级审批,工龄满1年享有30天带薪假期

鲁中晨报
2026-09-01 11:30:06
关门绝杀!加拿大突然关死大门,润加港人天塌了

关门绝杀!加拿大突然关死大门,润加港人天塌了

李荣茂
2026-08-31 18:35:16
刚被年轻人举报不久,这家企业的双标又被扒了出来!

刚被年轻人举报不久,这家企业的双标又被扒了出来!

胖胖说他不胖
2026-08-31 17:14:29
获1.2亿欧补偿!38岁本泽马正式遭沙特土豪队解约 或原地宣布退役

获1.2亿欧补偿!38岁本泽马正式遭沙特土豪队解约 或原地宣布退役

风过乡
2026-08-31 22:52:39
伊朗央行行长:伊朗经济崩溃的说法毫无根据 准备向市场注入20亿美元的外汇

伊朗央行行长:伊朗经济崩溃的说法毫无根据 准备向市场注入20亿美元的外汇

财联社
2026-09-01 14:36:04
107个应届生绕过劳动仲裁,一封投诉直达港交所,上市公司这回真慌了

107个应届生绕过劳动仲裁,一封投诉直达港交所,上市公司这回真慌了

浯江孤舟
2026-08-29 16:50:22
2026-09-01 18:04:49
stormzhang incentive-icons
stormzhang
自由职业者,创业者。
627文章数 2503关注度
往期回顾 全部

科技要闻

抖音突发推荐算法大面积错乱!

头条要闻

患癌母亲扛50斤行李送女儿上大学 因没给她买电脑落泪

头条要闻

患癌母亲扛50斤行李送女儿上大学 因没给她买电脑落泪

体育要闻

大爹杨瀚森,让中国男篮有了容错空间

娱乐要闻

孙宇晨破防,他无法接受孙割这个名字

财经要闻

库克卸任,苹果下一个增长点在哪?

汽车要闻

昊铂埃安8月销量36383辆 连续6个月逆势正增长

态度原创

家居
健康
房产
手机
公开课

家居要闻

2026建博会(广州) 公装联探展交流活动

睡时发生脑梗,抢救时间该怎么算?

房产要闻

海口江东,首个四代宅方案曝光!这个大盘,还有新货?

手机要闻

行业最高规格!vivo X500 Pro系列首发4K 240fps高光慢动作

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版