网易首页 > 网易号 > 正文 申请入驻

阿里通义发布并开源Qwen3-VL-Embedding和Qwen3-VL-Reranker模型

0
分享至

智通财经APP获悉,1月8日,通义大模型正式发布并开源 Qwen3-VL-Embedding 和 Qwen3-VL-Reranker 模型系列,这两个模型基于 Qwen3-VL 构建,专为多模态信息检索与跨模态理解设计,为图文、视频等混合内容的理解与检索提供统一、高效的解决方案。

多模态通用性

两个模型系列均能在统一框架内处理文本、图像、可视化文档(图表、代码、UI组件......)、视频等多种模态输入。在图文检索、视频-文本匹配、视觉问答(VQA),多模态内容聚类等多样化任务中,均达到了业界领先水平。

统一表示学习(Embedding)

Qwen3-VL-Embedding 充分利用 Qwen3-VL 基础模型的优势,能够生成语义丰富的向量表示,将视觉与文本信息映射到同一语义空间中,从而实现高效的跨模态相似度计算与检索。

图1:统一多模态表示空间示意图。Qwen3-VL-Embedding模型系列将多源数据(文本、图像、视觉文档和视频)映射到共同的高维语义空间。

高精度重排序(Reranker)

作为 Embedding 模型的补充,Qwen3-VL-Reranker 接收任意模态组合的查询与文档对(eg:图文查询匹配图文文档),输出精确的相关性分数。在实际应用中,二者常协同工作:Embedding 负责快速召回,Reranker 负责精细化重排序,构成“两阶段检索流程”,显著提升最终结果精度。

卓越的实用性

该系列继承了 Qwen3-VL 的多语言能力,支持超过 30 种语言,适合全球化部署。模型提供灵活的向量维度选择、任务指令定制,以及量化后仍保持的优秀性能,便于开发者集成到现有系统中。

在 MMEB-v2、MMTEB 等权威多模态检索基准测试中,Qwen3-VL 系列模型展现出了强劲实力。

Qwen3-VL-Embedding

Qwen3-VL-Embedding-8B 模型在 MMEB-V2 上取得了业界领先的结果,超越了所有先前的开源模型和闭源商业服务。

在纯文本多语言 MMTEB 基准测试上,Qwen3-VL-Embedding 模型与同等规模的纯文本 Qwen3-Embedding 模型相比虽然有少许的性能差距。但与评测排行榜上其他同等规模的模型相比,它仍然展现出极具竞争力的性能表现。

图 2:Qwen3-VL-Embedding 在 MMEB-v2 和 MMTEB 评测集上的性能对比。

Qwen3-VL-Reranker

我们使用了MMEB-v2 和 MMTEB 检索基准中各子任务的检索数据集进行评测。对于视觉文档检索,我们采用了 JinaVDR 和 ViDoRe v3 数据集。

评测结果表明,所有 Qwen3-VL-Reranker 模型的性能均持续优于基础 Embedding 模型和基线 Reranker 模型,其中 8B 版本在大多数任务中达到了最佳性能。

这些性能表现的背后,是针对多模态检索流程量身定制的架构设计。

Qwen3-VL-Embedding 和 Qwen3-VL-Reranker 采用了不同的架构设计,分别针对检索流程的不同阶段进行优化。

图 2:Qwen3-VL-Embedding 和 Qwen3-VL-Reranker 架构概览。左侧为 Embedding 模型的双塔独立编码架构,右侧为 Reranker 模型的单塔交叉注意力架构。

Qwen3-VL-Embedding 采用双塔架构,可以高效地将不同模态的内容独立编码为统一的向量表示,特别适合处理海量数据的并行计算。

“Embedding 模型接收单模态或混合模态输入,并将其映射为高维语义向量。我们提取基座模型最后一层中对应 [EOS] token 的隐藏状态向量,作为输入的最终语义表示。这种方法确保了大规模检索所需的高效独立编码能力。Qwen3-VL-Reranker 采用单塔架构,通过内部的交叉注意力机制,深度分析查询与文档之间的语义关联,从而输出精确的相关性分数。“

在实际工作中,Reranking 模型接收输入对 (Query, Document) 并进行联合编码。它利用基座模型内的交叉注意力机制,实现 Query 和 Document 之间更深层、更细粒度的跨模态交互和信息融合。模型最终通过预测两个特殊 token(yes 和 no)的生成概率来表达输入对的相关性分数。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
18.1分+7.2板!接受了文班亚马的邀请,加盟马刺!你让马刺成为顶尖强队

18.1分+7.2板!接受了文班亚马的邀请,加盟马刺!你让马刺成为顶尖强队

衔春信
2026-10-04 01:18:19
陈皮才是祛湿王!搭配它,痰没了、湿走了,越喝越润

陈皮才是祛湿王!搭配它,痰没了、湿走了,越喝越润

白米饭怎么吃
2026-07-26 08:47:01
巴拉圭联大作死挺台,赌中国拿它没办法?牛肉先卖不动了!

巴拉圭联大作死挺台,赌中国拿它没办法?牛肉先卖不动了!

经纬戎韬
2026-10-03 02:33:57
汉口江滩“大金球”的修缮困局

汉口江滩“大金球”的修缮困局

生活魔术专家
2026-10-04 00:18:29
0比5,输的还是巴勒斯坦,中国足球又添新耻辱!不破不立,国足必须换血重建

0比5,输的还是巴勒斯坦,中国足球又添新耻辱!不破不立,国足必须换血重建

文汇报
2026-10-03 04:04:16
国足0:5事态升级!国家通讯社下场锐评:字字戳所有球员脊梁骨

国足0:5事态升级!国家通讯社下场锐评:字字戳所有球员脊梁骨

云景侃记
2026-10-04 09:36:28
跌破20℃!暴雨、大暴雨即将抵达福建!

跌破20℃!暴雨、大暴雨即将抵达福建!

海峡网
2026-10-04 09:38:09
50岁男子冠脉狭窄85%,2年后却完全消失,他的4个方法,值得借鉴

50岁男子冠脉狭窄85%,2年后却完全消失,他的4个方法,值得借鉴

白宸侃片
2026-10-02 13:02:54
火箭媒体人:NBA发展联盟对桑顿没有意义,他随便就能砍下30+分

火箭媒体人:NBA发展联盟对桑顿没有意义,他随便就能砍下30+分

稻谷与小麦
2026-10-04 00:05:16
盘点NBA历史五大最强二当家,韦德仅排第四,榜首独一档

盘点NBA历史五大最强二当家,韦德仅排第四,榜首独一档

篮球圈里的那些事
2026-10-04 08:17:04
阿联酋检方:迪拜航空涉事副驾驶使用消防斧实施“恐怖袭击”

阿联酋检方:迪拜航空涉事副驾驶使用消防斧实施“恐怖袭击”

新京报
2026-10-03 16:08:43
悲催!2026国庆档遇冷单日票房仅3958万,网友:史上最惨国庆档出现了,没想到最先熄火的是演员

悲催!2026国庆档遇冷单日票房仅3958万,网友:史上最惨国庆档出现了,没想到最先熄火的是演员

火山詩话
2026-10-02 19:48:03
迪拜航空劫机事件:副驾驶用斧头砍伤机长,休班英国飞行员救飞机

迪拜航空劫机事件:副驾驶用斧头砍伤机长,休班英国飞行员救飞机

心本来就不大
2026-10-03 10:01:45
1992年泰森服刑期间勾搭女狱警,一招让对方怀上他的孩子!

1992年泰森服刑期间勾搭女狱警,一招让对方怀上他的孩子!

翠羽
2026-10-03 10:55:16
曾志伟:我睡过她!撕破了"京圈交际花",周冬雨的私生活遮羞布

曾志伟:我睡过她!撕破了"京圈交际花",周冬雨的私生活遮羞布

动物奇奇怪怪
2026-10-01 12:42:30
邓维龙:湛江市委书记、珠海市委书记

邓维龙:湛江市委书记、珠海市委书记

坠入二次元的海洋
2026-10-04 02:04:57
不管炖什么肉,只要加了这4味料,肉软烂入味,越炖越香,早知道

不管炖什么肉,只要加了这4味料,肉软烂入味,越炖越香,早知道

阿龙美食记
2026-09-16 16:48:46
65岁店主含泪自述:烟卖不动了,不是钱的事,是一个时代结束了

65岁店主含泪自述:烟卖不动了,不是钱的事,是一个时代结束了

小鹿姐姐情感说
2026-10-04 06:12:18
美媒重排NBA2001年选秀,阿里纳斯第6,帕克升至榜眼,状元无悬念

美媒重排NBA2001年选秀,阿里纳斯第6,帕克升至榜眼,状元无悬念

弄月公子
2026-10-04 08:32:13
安东尼奥252天两创奇迹!U23亚洲杯摘银,亚运会登上领奖台

安东尼奥252天两创奇迹!U23亚洲杯摘银,亚运会登上领奖台

奥拜尔
2026-10-03 16:17:31
2026-10-04 10:23:00
智通财经 incentive-icons
智通财经
全球资本市场财经资讯提供者
1179391文章数 101322关注度
往期回顾 全部

科技要闻

苹果确认:iPhone 18 Pro Max有问题

头条要闻

"世界波"被夸只有"球王"能打出来 王钰栋:少看网上的

头条要闻

"世界波"被夸只有"球王"能打出来 王钰栋:少看网上的

体育要闻

这个讨论了一夏天的问题,马刺有答案了吗

娱乐要闻

马思纯一家爬山祈福!素颜出镜笑容甜

财经要闻

OpenAI前安全部门员工:公司文化已崩坏

汽车要闻

方程豹9月热销破4万 首款皮卡鲨鱼将于四季度上市

态度原创

亲子
艺术
教育
手机
军事航空

亲子要闻

小宝宝抓着小姐姐的手不放,眼睛里满是喜欢的笑意

艺术要闻

何家英作品欣赏

教育要闻

有些题目确实很难不会做,也很正常啊

手机要闻

华为Mate90 Pro Max芯片评测:制程未变,性能提升来自逻辑折叠

军事要闻

美国被指正向中东派遣第三艘航母

无障碍浏览 进入关怀版