网易首页 > 网易号 > 正文 申请入驻

文生图进入Agent时代:港中文联合伯克利开源Gen-Searcher

0
分享至

过去两年,图像生成模型在质感和审美上一路狂飙,但大多仍是 “直接出图” 的范式。

一旦 prompt 涉及真实世界知识、最新信息、冷门事实,或者需要跨多个来源核对细节,传统文生图模型就很容易翻车。

因为生成模型缺乏面向真实世界的 Agent 能力,仍然依赖固化的参数知识,缺少主动搜索、验证和整合外部信息的能力。

最近,来自香港中文大学 MMLab、UC Berkeley 和 UCLA 的研究团队提出了 Gen-Searcher,首次尝试为图像生成任务训练一个 “深度搜索” 智能体。它让图像生成模型能够像 Agent 一样进行搜索、推理、找图和浏览网页,从而输出真正可靠的生成结果。所有数据,模型,和代码,均已开源。

  • 论文标题:Gen-Searcher: Reinforcing Agentic Search for Image Generation
  • 论文地址:https://arxiv.org/pdf/2603.28767
  • 项目主页:https://gen-searcher.vercel.app/

现实需求:从 “直接生成” 到 Agentic 生成

现实世界中的图像生成任务,往往不只是 “按 prompt 作画”。很多场景会涉及真实世界知识、最新信息、冷门事实,甚至需要跨多个来源核对细节。模型不仅要会生成,还要先判断哪些信息需要确认、哪些视觉细节需要参考、哪些内容必须依赖外部知识支撑。

在这种背景下,传统文生图模型有两个核心问题:一是主要依赖预训练学到的参数知识,缺乏主动搜索、验证和整合外部信息的能力;二是整体流程仍是 “输入 prompt,直接出图”,缺少像 Agent 那样先搜索、推理、整理证据的过程,因此在真实场景里很容易 “画得像,却画不对”

为了解决这个问题,研究团队提出了 Gen-Searcher,希望把文生图从 “直接生成” 推进到 Agentic 生成

数据构建与 KnowGen 基准

为了训练这种能力,作者先构造了一批真实世界需要搜索才能完成的生成数据,覆盖名人、动漫、物理、化学、艺术、建筑、新闻等约 20 个类别。

随后,作者让强模型配合搜索工具生成多轮轨迹,收集文本知识和视觉证据,再用 Nano Banana Pro 合成目标图像,得到约 30k 条原始样本。经过 Seed1.8 筛选后,最终保留约 17k 条高质量数据,并整理成 Gen-Searcher-SFT-10k 和 Gen-Searcher-RL-6k。

在此基础上,作者还提出了新的 benchmark —— KnowGen。它包含 630 条人工验证样本,用于图像生成 Agent 评测。

模型训练

Gen-Searcher 的核心,是把生成前的信息获取过程做成一个可训练的 Agent。模型不再拿到 prompt 就直接生成,而是先在多轮交互中决定何时搜索、搜什么、是否浏览网页、是否补充视觉参考,最后输出准确的 prompt 和参考图。

它配备了三类工具:文本搜索、图像搜索和网页浏览。训练上则分两阶段进行:先通过 SFT 训练学会工具使用,再通过 agentic RL 优化搜索策略和长程决策。

论文还提出了双奖励反馈。因为只看最终图像效果并不稳定,作者额外加入了一个文本奖励,用来评估输出的 prompt 是否已经包含足够、正确、与生成相关的信息,再与图像奖励结合起来共同训练。这样,模型不仅要 “画得好”,也要 “搜得对”

实验结果

在 KnowGen 上,原始 Qwen-Image 的 K-Score 为 14.98,接入 Gen-Searcher-8B 后提升到 31.52,提高 16.54 分。而且这种能力还能迁移到其他图像生成器上:Seedream 4.5 从 31.01 提升到 47.29,Nano Banana Pro 也从 50.38 提升到 53.30。

在 WISE 测试基准上,模型同样带来了巨大的提升。

可视化分析表明,Gen-Searcher 能够真正提高模型生图的准确性和质量。

Gen-Searcher 的推出,不仅展示了 Agentic 生成在知识密集型图像生成任务上的潜力,也为构建真正能够连接搜索、推理与生成的一体化系统提供了清晰路径。

它不仅能 “画”,还能 “查”;不仅能完成传统的文本到图像生成,更能在生成之前主动搜索信息、核对事实、整合证据,展现出面向真实世界复杂任务的生成能力。

在大模型不断走向多模态、强推理与 Agent 化的趋势下,Gen-Searcher 的工作或许只是一个起点,但它所验证的方向,正在成为生成系统迈向 Agentic 时代的重要一步。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
埃及总统塞西表示将于2030年结束任期

埃及总统塞西表示将于2030年结束任期

新京报
2026-10-17 18:22:56
一个人在政府打五份工,他啥活也不干,每年还白领百万年薪....

一个人在政府打五份工,他啥活也不干,每年还白领百万年薪....

英国那些事儿
2026-10-17 23:13:24
英超首位!队史129年来最佳开局!

英超首位!队史129年来最佳开局!

五星体育
2026-10-18 07:36:06
1-1!英超冷门来袭:9.3亿豪门各项赛事6场不胜 7轮7分坐稳下半区

1-1!英超冷门来袭:9.3亿豪门各项赛事6场不胜 7轮7分坐稳下半区

狍子歪解体坛
2026-10-18 22:58:22
日本网友:福原爱穿透视装出镜看着真让人难受 她以前可是国民妹妹

日本网友:福原爱穿透视装出镜看着真让人难受 她以前可是国民妹妹

劲爆体坛
2026-10-18 07:59:06
5-0!英超第1黑马狂飙 33岁少帅率队6连胜+升次席 7轮轰23球超曼城

5-0!英超第1黑马狂飙 33岁少帅率队6连胜+升次席 7轮轰23球超曼城

我爱英超
2026-10-18 23:07:04
重庆:父亲遛狗时两岁幼童从18楼家中坠亡,母亲以“过失致人死亡”报案获警方受理

重庆:父亲遛狗时两岁幼童从18楼家中坠亡,母亲以“过失致人死亡”报案获警方受理

澎湃新闻
2026-10-18 17:14:26
连续4站退赛!郑钦文赛季提前结束 安心休养备战澳网 冲大满贯冠军

连续4站退赛!郑钦文赛季提前结束 安心休养备战澳网 冲大满贯冠军

念洲
2026-10-18 22:49:51
终于判了!疫苗女王无期徒刑,被罚91亿,但那些接种家庭怎么办?

终于判了!疫苗女王无期徒刑,被罚91亿,但那些接种家庭怎么办?

哄动一时啊
2026-10-18 09:57:57
“大闸蟹价格崩盘”频上热搜,有老板直言:比往年降了40%,价格为十年来最低;蟹农叹气:行情不好

“大闸蟹价格崩盘”频上热搜,有老板直言:比往年降了40%,价格为十年来最低;蟹农叹气:行情不好

大风新闻
2026-10-18 10:51:08
比亚迪新车官宣:10月20日,正式上市

比亚迪新车官宣:10月20日,正式上市

科技堡垒
2026-10-17 12:03:21
男子打羽毛球时不慎摔倒,裤兜里的手机突然爆燃,致其二级重度烧伤,知情人:手机刚买两个月

男子打羽毛球时不慎摔倒,裤兜里的手机突然爆燃,致其二级重度烧伤,知情人:手机刚买两个月

第一财经资讯
2026-10-18 14:40:44
APEC会议召开前,特朗普准备先飞一趟菲律宾,高市想借机“截胡”

APEC会议召开前,特朗普准备先飞一趟菲律宾,高市想借机“截胡”

闻识
2026-10-18 06:18:56
焚烧车辆、打砸商铺、闯入政府机构纵火,法国多地爆发示威抗议;驻法大使馆:中国公民特别是游客,避免前往游行示威区域,远离冲突地区

焚烧车辆、打砸商铺、闯入政府机构纵火,法国多地爆发示威抗议;驻法大使馆:中国公民特别是游客,避免前往游行示威区域,远离冲突地区

南方都市报
2026-10-18 19:21:14
如何看待袁腾飞怒骂美国「垃圾国家」?

如何看待袁腾飞怒骂美国「垃圾国家」?

龙牙的一座山
2026-10-18 09:10:27
中东记者卧底电诈园区,24分钟纪录片曝光,湖南籍老板:用80%利润打点警察,警车当座驾,却在清剿前夜人间蒸发

中东记者卧底电诈园区,24分钟纪录片曝光,湖南籍老板:用80%利润打点警察,警车当座驾,却在清剿前夜人间蒸发

起点人文
2026-10-18 13:55:43
各项赛事6场不胜!英超:曼联1-1利兹联7轮7分 姆伯莫破门

各项赛事6场不胜!英超:曼联1-1利兹联7轮7分 姆伯莫破门

狍子歪解体坛
2026-10-18 22:53:38
张雨绮这个V开到肚脐眼下了,太敢穿了

张雨绮这个V开到肚脐眼下了,太敢穿了

情感大头说说
2026-10-17 04:20:04
疯狂小杨哥新号“庆杨”粉丝被清零,记者实测:关注不计入粉丝量

疯狂小杨哥新号“庆杨”粉丝被清零,记者实测:关注不计入粉丝量

台州交通广播
2026-10-18 16:10:27
为什么每个朝代到后期都没钱?看完网友分享我破防了,画面感很强

为什么每个朝代到后期都没钱?看完网友分享我破防了,画面感很强

夜深爱杂谈
2026-10-17 19:21:55
2026-10-19 00:43:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14235文章数 142748关注度
往期回顾 全部

科技要闻

王江舟院士:6G到底是不是骗局 是不是收割

头条要闻

法国爆发严重暴力骚乱:百年市政厅被焚烧 马克龙发声

头条要闻

法国爆发严重暴力骚乱:百年市政厅被焚烧 马克龙发声

体育要闻

别在我的地盘夺冠!海港队史首次双杀蓉城

娱乐要闻

郭麒麟被传领证,女方戳破谣言

财经要闻

马斯克:美债问题只能靠AI和机器人解决

汽车要闻

星瑞L PLUS限时售价10.97万元起 开启智混3L时代

态度原创

亲子
教育
房产
游戏
公开课

亲子要闻

我们小面全身上下就没有一处不萌的啊

教育要闻

体验感最好的几所英国大学!

房产要闻

利好密集落地+现房好房断档,广州楼市买入窗口,正在倒计时!

崩铁史学家发力?玩家通过解读月下奇谭内容,竟推测出4.7结局

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版