网易首页 > 网易号 > 正文 申请入驻

多模态模型学会“按需搜索”,少搜30%还更准!字节&NTU新研究

0
分享至

MMSearch-R1团队投稿
量子位 | 公众号 QbitAI

多模态模型学会“按需搜索”!

字节&NTU最新研究,优化多模态模型搜索策略

通过搭建网络搜索工具、构建多模态搜索数据集以及涉及简单有效的奖励机制,首次尝试基于端到端强化学习的多模态模型自主搜索训练

经过训练的模型能够自主判断搜索时机、搜索内容并处理搜索结果,在真实互联网环境中执行多轮按需搜索。

实验结果表明,在知识密集型视觉问答任务(Visual Question Answering, VQA)中,MMSearch-R1系统展现出显著优势:

其性能不仅超越同规模模型在传统检索增强生成(RAG)工作流下的性能,更在减少约30%搜索次数的前提下,达到了更大规模规模模型做传统RAG的性能水平。

下文将详细解析该研究的研究方法以及实验发现。

具体怎么做到的?

近年来,随着视觉-语言训练数据集在规模和质量上的双重提升,多模态大模型(Large Multimodal Models, LMMs)在跨模态理解任务中展现出卓越的性能,其文本与视觉知识的对齐能力显著增强。

然而,现实世界的信息具有高度动态性和复杂性,单纯依靠扩大训练数据规模的知识获取方式存在固有局限:难以覆盖长尾分布的知识、无法获取模型训练截止日期后的新信息,以及难以触及私域信息资源。

这些局限性导致模型在实际应用中容易产生幻觉现象,严重制约了其在广泛现实场景下部署的可靠性。

在此背景下,网络搜索作为人类获取新知识的核心途径,被视为扩展模型能力边界的重要工具,正受到学术界的高度重视。

如何使多模态模型具备自主、精准的外部信息获取能力,从而实现准确的问题解答,成为当前研究的关键挑战。

因此,ByteDance与南洋理工大学(NTU)S-Lab联合开展的MMSearch-R1项目针对这一挑战进行了探索。

下面详细来看该研究的研究方法。

集成多轮搜索的强化学习训练

1、多模态搜索工具

MMSearch-R1集成图像搜索和文本搜索两种工具,以满足模型应对视觉问答任务的需求,其中图像搜索工具基于Google Lens,支持搜索与用户图像视觉外观匹配的网页标题以及主要缩略图,用于帮助模型准确识别重要的视觉元素。

文本搜索工具由Google Search,JINA Reader以及用于网页内容总结的语言模型构成的链路组成,支持搜索与模型生成的搜索内容最相关的网页及其内容摘要,用于帮助模型精确定位所需文本知识与信息。

2、多轮搜索强化学习训练

MMSearch-R1采用GRPO作为强化学习算法进行模型训练,基于veRL框架实现集成多轮对话与搜索的Rollout过程,在每轮对话中,模型首先进行思考,并执行可选的动作,如调用多模态搜索工具与真实互联网进行交互,或给出最终的答案。

3、带有搜索惩罚的奖励函数

MMSearch-R1的奖励函数由准确性得分和格式得分两部分以加权求和的形式构成,其权重分别为0.9和0.1,分别衡量模型是否准确回答了用户问题(模型所给答案与真实答案作字符串精确匹配)以及遵循了既定回复格式。

为了激励模型优先利用自身知识完成作答,还会对调用搜索工具才获得正确答案的回复进行惩罚(搜索惩罚因子为0.1),最终奖励函数为:

构建搜索需求均衡的多模态图像问答数据集

为了有效训练模型实现智能化的按需搜索能力,研究精心构建了FactualVQA(FVQA)数据集,包含训练集和测试集。该数据集的构建采用了一套精心设计的半自动化流程,重点聚焦于需要丰富视觉与文本知识支持的问答场景。

1、数据采集

团队首先基于MetaCLIP的元数据分布进行多层次采样,确保覆盖从高频到长尾的多样化视觉概念(Visual Concept),并从互联网中搜索与视觉概念最相关的图片,基于GPT-4o生成事实性问答对。

为增强数据集的文本知识维度,团队还从InfoSeek训练集中筛选了具有代表性的问答样本进行补充。为确保数据质量贴近真实应用场景,FVQA还补充了800个由标注人员标注问答对样本。

2、数据均衡

完成初步数据采集后,通过一个粗训练的模型对现有样本进行分类,检查每条数据的搜索必要性,最终训练数据集包含约3400个需要搜索的样本和1600个无需搜索的样本。

实验效果如何?

MMSearch-R1-7B基于Qwen2.5-VL-7B模型进行训练。

在FVQA-test、InfoSeek等知识密集型VQA任务中,MMSearch-R1-7B的平均准确率比同等规模模型的传统RAG基线高出约3%搜索比率降低了32.9%,同时能够媲美32B模型RAG基线的效果。

经过强化学习训练,模型提升了优化搜索内容以及处理搜索结果的能力(下图左,经过强化学习的模型执行RAG Workflow性能要好于原始模型),同时增强了挖掘利用自身固有知识的能力(下图右,模型提升了不搜索即可回答正确的比率)。

强化学习展现出比监督微调更大的潜力,在所有任务上以较少的训练样本取得更大的性能增益(下图左)。

同时证明数据搜索比例均衡以及奖励函数中的搜索惩罚机制有助于在训练过程中塑造模型的按需搜索行为(下图右)。

最后总结来说,MMSearch-R1是一个基于强化学习的创新框架,赋予多模态大模型在真实互联网环境中执行智能按需搜索的能力。该框架使模型能够自主识别知识边界,进而选择图像或文本搜索方式获取所需信息,并对搜索结果进行有效推理。

团队表示,该研究为开发具备现实世界交互能力的多模态大模型提供了重要洞见,为构建自适应、交互式的多模态智能体奠定了基础。期待随着模型通过更多工具与现实世界的持续交互,多模态智能将在推理和适应能力上实现新的飞跃。

论文地址:https://arxiv.org/abs/2506.20670
项目地址:https://github.com/EvolvingLMMs-Lab/multimodal-search-r1

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
勇士消息:库里复出时间曝光,浓眉有望加盟,战绿军出场更新

勇士消息:库里复出时间曝光,浓眉有望加盟,战绿军出场更新

冷月小风风
2026-11-21 11:05:13
高市内阁的第二块骨牌,也要倒了

高市内阁的第二块骨牌,也要倒了

天真无牙
2026-11-20 17:54:51
千万年薪也留不住她?罗福莉与雷军没谈拢,或从小米出走创业

千万年薪也留不住她?罗福莉与雷军没谈拢,或从小米出走创业

歪歌社团
2026-11-21 07:09:05
湖南出现历史上最荒唐法官!判男方净身出户,然后跟拿到全部资产的女方结婚

湖南出现历史上最荒唐法官!判男方净身出户,然后跟拿到全部资产的女方结婚

爆角追踪
2025-11-23 11:25:00
全崩了!一夜之间集体暴跌;近30万人爆仓

全崩了!一夜之间集体暴跌;近30万人爆仓

叮当当科技
2026-11-21 15:00:22
百亿豪门夫妇正式开撕,发声明互相指责,两人疑未离婚就有新欢

百亿豪门夫妇正式开撕,发声明互相指责,两人疑未离婚就有新欢

开开森森
2026-11-21 09:48:22
知情人士:美方要求乌明年1月初与俄达成和平协议

知情人士:美方要求乌明年1月初与俄达成和平协议

界面新闻
2026-11-21 08:00:30
许家印昔日555万宾利现身! 曾挂粤A98888:如今成了婚车

许家印昔日555万宾利现身! 曾挂粤A98888:如今成了婚车

华庭讲美食
2026-11-20 06:46:02
“股神”落幕!淘股吧选手138万本金斩获1425%收益,账户冲高至1541万,如今大幅回撤仅剩91万

“股神”落幕!淘股吧选手138万本金斩获1425%收益,账户冲高至1541万,如今大幅回撤仅剩91万

火山詩话
2026-11-21 08:07:08
深圳街头贴身护墨西哥总统的女警徐瑾,网传年薪百万其实是误会

深圳街头贴身护墨西哥总统的女警徐瑾,网传年薪百万其实是误会

娱乐的硬糖吖
2026-11-20 05:28:23
谢霆锋这算官宣吗?满屏都是霍汶希

谢霆锋这算官宣吗?满屏都是霍汶希

喜欢历史的阿繁
2026-11-19 08:59:07
1988年,他喝醉了,把家里23岁的小保姆错认成自己的妻子。保姆没作声,第二天,保姆表示自己什么也不要。

1988年,他喝醉了,把家里23岁的小保姆错认成自己的妻子。保姆没作声,第二天,保姆表示自己什么也不要。

回京历史梦
2026-11-19 09:21:15
局势反转,美国突然反水,宣布对乌新立场,欧盟:这一天终究来了

局势反转,美国突然反水,宣布对乌新立场,欧盟:这一天终究来了

浯江孤舟
2026-11-20 15:18:35
36岁奥斯卡影后当众掀衣秀假体:我是完整C杯

36岁奥斯卡影后当众掀衣秀假体:我是完整C杯

时光慢旅人
2026-11-20 11:03:53
官媒发文,锐评赵本山新歌,言辞犀利,句句都说到了年轻人心坎上

官媒发文,锐评赵本山新歌,言辞犀利,句句都说到了年轻人心坎上

霁寒飘雪
2026-11-21 07:31:21
75岁张纪中的妻子回应会不会改嫁,称“我老公再活30年,我75岁了,嫁给谁呀”

75岁张纪中的妻子回应会不会改嫁,称“我老公再活30年,我75岁了,嫁给谁呀”

韩小娱
2026-11-20 16:45:15
杨瀚森9投5中、卡尔森打中锋百回合只得84分,为何上场的是他?

杨瀚森9投5中、卡尔森打中锋百回合只得84分,为何上场的是他?

暗香暗香
2026-11-20 16:26:11
兵败如山倒?国产新能源或已经证明:中国根本不需要二线豪华品牌

兵败如山倒?国产新能源或已经证明:中国根本不需要二线豪华品牌

浩渺青史
2026-11-21 03:59:39
轰51+6+6!登顶历史第一,阿特金森预言成真,哈登也彻底清醒了

轰51+6+6!登顶历史第一,阿特金森预言成真,哈登也彻底清醒了

体育火锅T
2026-11-21 12:51:57
俄怒射117枚导弹以牙还牙!欧称:乌克兰严冬再冷,也吓不退欧洲

俄怒射117枚导弹以牙还牙!欧称:乌克兰严冬再冷,也吓不退欧洲

军机Nova
2026-11-21 00:55:32
2026-11-21 16:12:49
量子位 incentive-icons
量子位
追踪人工智能动态
13707文章数 176601关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

特朗普亚洲行后举行记者会 为与普京的"朋友"关系辩护

头条要闻

特朗普亚洲行后举行记者会 为与普京的"朋友"关系辩护

体育要闻

伦德伯格撞墙的力度真不轻

娱乐要闻

虞书欣擦边自拍、霸凌同事、媒体点名?

财经要闻

走过三年牛市,黄金何去何从?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

旅游
游戏
艺术
家居
亲子

旅游要闻

自然堂未来美妆城一年游客5.4万人次背后:工业旅游能否成为美妆渠道之外的新触点?

野兽先生全新挑战:在GTA6抢到多少钱就给多少钱!

艺术要闻

2026第七届民族美术作品展 油画选二

家居要闻

2026建博会(广州) 公装联探展交流活动

亲子要闻

流感季随寒流杀到致学龄儿童中招 专家:接种疫苗仍来得及!

无障碍浏览 进入关怀版