网易首页 > 网易号 > 正文 申请入驻

文生图进入Agent时代:港中文联合伯克利开源Gen-Searcher

0
分享至

来源:市场资讯

(来源:机器之心Pro)

过去两年,图像生成模型在质感和审美上一路狂飙,但大多仍是 “直接出图” 的范式。

一旦 prompt 涉及真实世界知识、最新信息、冷门事实,或者需要跨多个来源核对细节,传统文生图模型就很容易翻车。

因为生成模型缺乏面向真实世界的 Agent 能力,仍然依赖固化的参数知识,缺少主动搜索、验证和整合外部信息的能力。

最近,来自香港中文大学 MMLab、UC Berkeley 和 UCLA 的研究团队提出了 Gen-Searcher,首次尝试为图像生成任务训练一个 “深度搜索” 智能体。它让图像生成模型能够像 Agent 一样进行搜索、推理、找图和浏览网页,从而输出真正可靠的生成结果。所有数据,模型,和代码,均已开源。

现实需求:从 “直接生成” 到 Agentic 生成

现实世界中的图像生成任务,往往不只是 “按 prompt 作画”。很多场景会涉及真实世界知识、最新信息、冷门事实,甚至需要跨多个来源核对细节。模型不仅要会生成,还要先判断哪些信息需要确认、哪些视觉细节需要参考、哪些内容必须依赖外部知识支撑。

在这种背景下,传统文生图模型有两个核心问题:一是主要依赖预训练学到的参数知识,缺乏主动搜索、验证和整合外部信息的能力;二是整体流程仍是 “输入 prompt,直接出图”,缺少像 Agent 那样先搜索、推理、整理证据的过程,因此在真实场景里很容易 “画得像,却画不对”

为了解决这个问题,研究团队提出了 Gen-Searcher,希望把文生图从 “直接生成” 推进到 Agentic 生成

数据构建与 KnowGen 基准

为了训练这种能力,作者先构造了一批真实世界需要搜索才能完成的生成数据,覆盖名人、动漫、物理、化学、艺术、建筑、新闻等约 20 个类别。

随后,作者让强模型配合搜索工具生成多轮轨迹,收集文本知识和视觉证据,再用 Nano Banana Pro 合成目标图像,得到约 30k 条原始样本。经过 Seed1.8 筛选后,最终保留约 17k 条高质量数据,并整理成 Gen-Searcher-SFT-10k 和 Gen-Searcher-RL-6k。

在此基础上,作者还提出了新的 benchmark —— KnowGen。它包含 630 条人工验证样本,用于图像生成 Agent 评测。

模型训练

Gen-Searcher 的核心,是把生成前的信息获取过程做成一个可训练的 Agent。模型不再拿到 prompt 就直接生成,而是先在多轮交互中决定何时搜索、搜什么、是否浏览网页、是否补充视觉参考,最后输出准确的 prompt 和参考图。

它配备了三类工具:文本搜索、图像搜索和网页浏览。训练上则分两阶段进行:先通过 SFT 训练学会工具使用,再通过 agentic RL 优化搜索策略和长程决策。

论文还提出了双奖励反馈。因为只看最终图像效果并不稳定,作者额外加入了一个文本奖励,用来评估输出的 prompt 是否已经包含足够、正确、与生成相关的信息,再与图像奖励结合起来共同训练。这样,模型不仅要 “画得好”,也要 “搜得对”

实验结果

在 KnowGen 上,原始 Qwen-Image 的 K-Score 为 14.98,接入 Gen-Searcher-8B 后提升到 31.52,提高 16.54 分。而且这种能力还能迁移到其他图像生成器上:Seedream 4.5 从 31.01 提升到 47.29,Nano Banana Pro 也从 50.38 提升到 53.30。

在 WISE 测试基准上,模型同样带来了巨大的提升。

可视化分析表明,Gen-Searcher 能够真正提高模型生图的准确性和质量。

Gen-Searcher 的推出,不仅展示了 Agentic 生成在知识密集型图像生成任务上的潜力,也为构建真正能够连接搜索、推理与生成的一体化系统提供了清晰路径。

它不仅能 “画”,还能 “查”;不仅能完成传统的文本到图像生成,更能在生成之前主动搜索信息、核对事实、整合证据,展现出面向真实世界复杂任务的生成能力。

在大模型不断走向多模态、强推理与 Agent 化的趋势下,Gen-Searcher 的工作或许只是一个起点,但它所验证的方向,正在成为生成系统迈向 Agentic 时代的重要一步。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
冲着颜值和肉体,也要看这部R级新片

冲着颜值和肉体,也要看这部R级新片

来看美剧
2026-10-11 22:04:33
门诊量突然激增!上海新华医院确诊多名“汞中毒”患儿,“可能进脑子里”!

门诊量突然激增!上海新华医院确诊多名“汞中毒”患儿,“可能进脑子里”!

环球网资讯
2026-10-10 17:42:12
一人毁了一部剧?《伟大的长征》差评一致,这选角让人看了真别扭

一人毁了一部剧?《伟大的长征》差评一致,这选角让人看了真别扭

史之韵
2026-10-11 16:15:41
俄军大反攻后,乌克兰意识到,是时候全面、无条件、彻底的停火了

俄军大反攻后,乌克兰意识到,是时候全面、无条件、彻底的停火了

司马平邦
2026-10-11 17:05:05
夺冠+770万大奖!郑钦文成中网第一人,安德列娃太壮了暴力美学!

夺冠+770万大奖!郑钦文成中网第一人,安德列娃太壮了暴力美学!

曹说体育
2026-10-11 21:45:53
从月生活费1200到年收入破百万,大二专科生称靠切片三年赚七百万,背后真相揭晓

从月生活费1200到年收入破百万,大二专科生称靠切片三年赚七百万,背后真相揭晓

小鱼儿会飞了
2026-10-11 11:59:33
CBA最新消息!赵睿或缺席揭幕战,广东宏远考虑换掉卢卡

CBA最新消息!赵睿或缺席揭幕战,广东宏远考虑换掉卢卡

体坛瞎白话
2026-10-11 09:45:15
恋睾、当众脱奶罩,嫁给身价30亿富三代后,47岁的陈乔恩怎样了?

恋睾、当众脱奶罩,嫁给身价30亿富三代后,47岁的陈乔恩怎样了?

生性洒脱
2026-10-11 01:06:36
央视《伟大的长征》:顶着烤瓷牙却要演教员,谁的审美出了问题?

央视《伟大的长征》:顶着烤瓷牙却要演教员,谁的审美出了问题?

棠棣分享
2026-10-11 09:30:38
比赖清德更狂的人出现了,如果她当台湾地区领导人,我军该怎么办

比赖清德更狂的人出现了,如果她当台湾地区领导人,我军该怎么办

阿器谈史
2026-10-11 17:43:00
江苏一医生因先救重伤患儿,后面家长不满要等待,插队不成当场打电话投诉接诊医生

江苏一医生因先救重伤患儿,后面家长不满要等待,插队不成当场打电话投诉接诊医生

医脉圈
2026-10-11 20:06:15
被低频噪音逼疯的中国人:睡不着、查不出、告不赢连家都成了刑场

被低频噪音逼疯的中国人:睡不着、查不出、告不赢连家都成了刑场

娱乐圈见解说
2026-10-10 15:31:00
唐斯对尼克斯暂缓续约谈判表示"非常失望"

唐斯对尼克斯暂缓续约谈判表示"非常失望"

林间小温柔
2026-10-12 03:07:27
局势彻底恶化了!莫迪贸然开战,印军跨境开火,美国出动F-35A支援,中印边境恐怕要生变?舆论瞬间炸锅!

局势彻底恶化了!莫迪贸然开战,印军跨境开火,美国出动F-35A支援,中印边境恐怕要生变?舆论瞬间炸锅!

谈史论今1
2026-10-10 18:54:23
那个坐拥890万粉丝、体重一度逼近500斤的内蒙古网红“羊亡爷”恩克,步履虚浮难进食,暴食流量终要拿健康买单

那个坐拥890万粉丝、体重一度逼近500斤的内蒙古网红“羊亡爷”恩克,步履虚浮难进食,暴食流量终要拿健康买单

LULU生活家
2026-09-25 15:16:25
1-6!2-6!大爆冷:张帅组合梦断中网冠军,争议性发言影响心境?

1-6!2-6!大爆冷:张帅组合梦断中网冠军,争议性发言影响心境?

大秦壁虎白话体育
2026-10-11 17:42:19
吴宗宪说“为什么要逼台湾艺人表态”,网友吵翻了:来大陆赚钱,该不该有立场?

吴宗宪说“为什么要逼台湾艺人表态”,网友吵翻了:来大陆赚钱,该不该有立场?

看晓天下事
2026-10-11 15:54:19
安菲尔德满场嘘声,曼城在争议中让安菲尔德安静下来

安菲尔德满场嘘声,曼城在争议中让安菲尔德安静下来

热血体育社
2026-10-12 04:50:41
裂开了!阿奴诺比的XP!居然这么重口味?

裂开了!阿奴诺比的XP!居然这么重口味?

篮球实录
2026-10-10 22:39:42
腾讯重仓,深圳超级IPO要来了

腾讯重仓,深圳超级IPO要来了

阿器谈史
2026-10-11 17:59:59
2026-10-12 05:52:49
新浪财经 incentive-icons
新浪财经
新浪财经是一家创建于1999年8月的财经平台
5003761文章数 9756关注度
往期回顾 全部

科技要闻

卸任CEO后,苹果董事长库克再度到访中国

头条要闻

郑钦文回应中网夺冠:特别想赢 压力大到不停呕吐

头条要闻

郑钦文回应中网夺冠:特别想赢 压力大到不停呕吐

体育要闻

30天30队·魔术:班凯罗最后的试炼?

娱乐要闻

没夫妻生活咋办?冉莹颖绝不求邹市明

财经要闻

黄仁勋长女完婚,万亿帝国如何传承?

汽车要闻

大6座插混SUV新选择 阿维塔T09概念版亮相巴黎车展

态度原创

艺术
旅游
教育
亲子
手机

艺术要闻

被无数美院生私藏的人体写生大神!笔下的人体,美得刚刚好还超现实!

旅游要闻

繁华大吉巷里,“南海会馆”珍藏着一段近代风云

教育要闻

南京高三真要双休了?家长群吵翻天:有人怕,有人盼,有人根本不信

亲子要闻

食用银鳕鱼后中毒,不能让“儿童装”们装下去了

手机要闻

华为憋了个大的!星芒突然曝光,这是要再造一个荣耀?

无障碍浏览 进入关怀版