你让AI画一张"敦煌壁画风格的哈利波特"，它会犯什么错？

图好看,但世界知识是空的

现在的文生图模型,比如Stable Diffusion、FLUX这些,已经能画出结构精细、细节丰富、审美在线的图片了。单从"像不像艺术品"这个维度看,它们已经很强了。

但一旦你的需求涉及复杂的语义理解、多步骤推理,或者需要一些冷门但真实存在的知识,这些模型就开始露馅了。

举个例子。你让它画"苏格拉底在雅典的庭院里教学生",它可能给你一个穿着随便什么长袍的老头,背景是随便什么希腊风格建筑。但苏格拉底具体穿什么、雅典当时的建筑风格是什么样、他教学时通常在什么场合,这些细节模型其实并不掌握,它只是根据"希腊""哲学家""古代"这些关键词拼凑出一个看起来合理的画面。

学术界已经专门做了几个测评基准来量化这个问题,比如WISE和WorldGenBench。这些基准会出一些需要世界知识的题目,比如某个历史人物在特定年代的真实形象,或者某个地区的传统建筑风格,然后打分看模型答得对不对。

结果很打脸:大量模型在这类题目上表现平平,图片好看是好看,但和事实对不上号。

问题出在哪儿?模型的知识是"死"的,存在参数里,没法更新,也没法查漏补缺。用户的一句话里,能包含的信息终究有限,很多关键信息压根没在prompt里出现,模型只能靠脑补。

这就好比你让一个从没读过《史记》的画家去画"鸿门宴",他画得再精细,项羽和刘邦的座次、席间的对话方式这些历史细节他也画不对,因为他脑子里根本没这些信息。如果不给他补课,不管怎么调整绘画技巧,这张画都是错的。

已经有人在尝试解决,但都留了一个大窟窿

既然模型自己脑子里的知识不够用,那就让它去"查资料"呗。

这个思路其实已经有人在做了。业界大致分成两条路子。

第一条路子是把整个流程写死成一个固定的工作流:先理解用户意图,然后去搜索,然后把搜到的信息汇总,最后生成图片。每一步该干什么、按什么顺序干,都提前设计好了。

第二条路子是找一个"搜索代理"去帮用户把话说清楚。这个代理会去查资料,把用户模糊的需求改写成一个信息量充足、细节到位的生成提示词,然后把这个提示词扔给一个外部的图片生成器去画。

这两条路子确实都比"直接生成"要靠谱不少,已经有实验数据证明了这一点。

但问题是,这两条路子都只把"智能"用在了一半的流程上。

在第二条路子里,那个负责搜索和改写提示词的代理,它的工作到"写完提示词"就结束了,真正画图这件事是甩给另一个系统去干的。代理自己不画画,也不知道画出来的图到底对不对、好不好。

在第一条路子里,搜索和生成的顺序、先后关系,全是人提前定好的死规矩。不管这次任务的具体情况是什么,流程都得按这个顺序走,模型没有权力说"这次我想先画个草图看看,再回去查资料补细节"。

想象一下你要写一篇调研报告。如果公司规定你必须严格按照"先查5篇文献,再写摘要,再查3篇文献,再写正文"这个死流程走,而不管你实际调研过程中发现了什么新线索、需不需要临时调整顺序,这份报告的质量大概率会打折扣。因为真实的调研往往是边查边想、边想边调整方向的,不是一条直线。

引用块:统一多模态模型（UMM,Unified Multimodal Model）：一种把文字和图像都当成"token"（可以理解为语言模型处理的最小单位）来处理的模型,能在同一个框架里既理解图片又生成图片,不需要额外接一个专门的图像生成器。

论文作者们意识到,真正的"智能生成"应该是让同一个大脑,既能决定什么时候该去查资料、查什么、怎么查,又能决定什么时候该动手画图、画完了要不要重画。这两件事不该被割裂成两个系统。

ToolArtist:让一个模型同时管思考、查资料、画图

这就是这篇论文提出的ToolArtist要解决的问题。

它的核心思路很直白:不再区分"搜索代理"和"画图工具",而是把这两件事都变成同一个策略模型可以自主选择的动作。

引用块:策略（Policy）：在强化学习语境下,指的是模型在给定情境下决定"接下来该做什么"的那套决策逻辑。这里可以简单理解成"模型的行动大脑"。

具体来说,ToolArtist是在Emu3.5这个统一多模态模型的基础上,做了一轮"后训练"（post-training,指模型预训练完之后,针对特定能力再做的进一步训练）,让它学会在拿到一个生成需求之后,自己判断:这句话里缺什么信息?要不要去搜?搜文字还是搜图?搜完了信息够不够,能不能开始画?画完之后要不要回头检查、要不要重新画?

这一整套决策,全部由模型自己一个策略来完成,而不是靠外部规则死板地安排顺序。

论文里专门画了一张对比图来说明这三种范式的区别。第一种是"UMM工作流"范式,虽然模型也会调用工具,但工作流是提前写死的。第二种是"提示词优化代理"范式,搜索代理负责改写提示词,但生成这一步是甩给外部生成器的,不在代理的决策范围内。第三种就是ToolArtist,工具调用和图像生成,全都是模型自己一个策略里的动作,想什么时候查、想什么时候画,都由模型自己拿主意。

这个设计带来一个直接的好处:模型可以画完一张图之后,自己审视一下"这张图哪里不对",然后回过头再去搜点资料,再重新画一版。整个过程不是一锤子买卖,而是可以反复迭代的。这就像你写文章,写完一稿之后发现某个史实说错了,你不需要重新交给另一个人来改,自己回去查一下资料,直接把稿子改了就行。如果生成和搜索是两个割裂的系统,这种"发现问题、回头补救"的能力就没有了,画错了也只能将错就错。

怎么让模型学会这套本事:两阶段训练

那问题来了,怎么让一个模型学会"什么时候该搜、什么时候该画、画得不好要不要重画"这套复杂的行为模式?

论文给出的答案分两步走:先做监督微调（SFT）,再做强化学习（RL）。

### 第一步:找一个"老师"先示范一遍

论文团队先找了一个"教师代理"（teacher agent）,让它配备文字搜索工具、图片搜索工具,还有一个外部的图像生成工具（用的是gemini-3-pro-image-preview）,让它自己去跑一遍完整的任务流程:遇到问题先想一想,该查资料就去查,查完了该画图就去调用外部生成器画图,画完了不满意就再改。

这个教师代理跑出来的完整轨迹,包含了推理、工具调用、工具返回结果、以及最后生成的图片。这些轨迹是"交替进行"的,不是死板的"先搜完所有资料再画图",而是可以先想一步、查一步、再想一步、再查一步,直到觉得信息够了才开始画。

有意思的是,论文对这两个搜索工具也做了特殊优化。文字搜索用谷歌搜索加上一个LLM阅读器（负责把搜到的网页内容总结提炼）,图片搜索则会先过滤掉打不开的图片,再判断图片内容是否真的相关,最后只返回真正能用的参考图和结构化摘要。这一步看似简单,其实很关键,因为搜索引擎返回的原始结果里充满了噪音,如果不做筛选,后面模型很容易被垃圾信息带偏。

### 第二步:把"外部生成"改写成"模型自己画"

教师代理示范的这些轨迹里,画图这一步是靠外部工具完成的。但ToolArtist的目标是让模型自己画图,不依赖外部生成器。

所以论文团队设计了一个"转换"步骤:把教师轨迹里"调用外部图像生成工具"这个动作,重写成模型自己生成图像token的格式。具体做法是,把原本用来调用外部生成器的那句提示词,转写成一个"视觉描述片段"（visual-caption span）,紧跟着放上对应的图像token序列。

引用块:图像token（visual token）：在统一多模态模型里,图像不是以像素矩阵的形式存在的,而是被编码成一串离散的"图像词"，和文字token一样可以被模型统一处理和生成。

这样一来,教师原本"调用工具画图"的行为,就被转换成了"模型自己在同一个自回归序列里完成画图"的行为。如果这一步转换失败(比如图片加载不了、token化出错、上下文太长),这条数据就会被直接过滤掉,保证最后留下的数据质量够高。

这套流程最后筛出了7132条高质量轨迹,数量不算多,但胜在质量精。这些轨迹里,推理和工具调用的部分会被作为训练目标,而用户的原始输入和工具返回的内容,只作为上下文条件,不参与训练损失的计算。换句话说,SFT阶段学的不是"怎么理解用户输入"或者"怎么读懂搜索结果",这些能力模型本来就有,SFT真正要教会模型的是"面对这些信息,自己该做什么决定"。

这个设计其实挺聪明的。想象一下你带一个新员工,如果你把他这一整天做过的所有事情(包括你交给他的资料、他收到的邮件回复)全部当成"标准答案"让他背下来,那他学到的只是死记硬背,而不是真正学会"该怎么处理问题"。ToolArtist的做法是只把"新员工自己做出的决策和行动"当成学习目标,而外部给他的信息只是背景,不强迫他去模仿这些信息本身。这样训出来的模型,才是真的学会了"怎么做判断",而不是学会了"怎么复述别人搜到的东西"。

强化学习登场:两个奖励一起管

SFT给模型打下了一个基础,让它大致知道该怎么推理、怎么调工具、怎么画图。但SFT毕竟是靠有限的合成数据训出来的,覆盖不到所有场景,模型很可能还是学不会"更聪明的策略"。

所以论文接下来引入了强化学习,并且专门为此设计了一套叫RAD-GRPO的算法。

引用块:GRPO（Group Relative Policy Optimization）：一种强化学习优化方法,通过对同一个问题采样一组不同的回答,比较这组回答里谁的表现更好、更差,来估算每个回答该往哪个方向调整,不需要额外训练一个"评委模型"（critic）。

RAD-GRPO是"Reason-Act-Draw GRPO"的缩写,顾名思义,就是同时优化"推理""行动""画图"这三个环节。

具体的做法是:给模型一个问题,让它自己在真实的开放世界环境里跑出一整条轨迹（可能包含好几轮搜索和画图),然后根据这条轨迹的最终结果给一个奖励分数,再用这个分数去调整模型的行为倾向。

这里最关键的设计是,奖励不是只看"最后画出来的图好不好看",而是拆成了两个互补的信号。

第一个叫"意图奖励"（Intent Reward）,检查的是模型在准备画图之前写的那段"视觉描述"是不是把用户需求和搜集到的证据充分、准确地转化成了一个可执行的生成意图。简单说就是,如果把这段描述交给一个理想的画师,他能不能照着画出正确的图?如果轨迹里根本没写出有效的描述,这一项直接记0分。

第二个叫"质量奖励"（Quality Reward）,检查的是最终画出来的图是不是真的满足用户需求、和那段描述对得上。这个奖励由一个"世界知识奖励模型"来打分,具体分四个维度:忠实度、视觉正确性、文字准确性、审美质量,权重分别是0.1、0.4、0.4、0.1。如果这个任务本来就不需要图里出现可读文字,文字准确性这一项会退回0.5分,不算严格扣分。

这两项按照0.5和0.5的权重加在一起,构成主奖励。这意味着,如果模型光是"想得好"但"画得差",或者"画得挺像"但"想的思路根本没抓住用户真正需要的信息",都拿不到高分。这两个奖励是互相制约的,谁都不能单方面糊弄过关。

除了这个主奖励,论文还加了四个辅助信号:格式奖励(检查输出格式是否规范、工具调用是否合法),画图信号(鼓励模型真的走到"画图"这一步,而不是一直搜索不画),长度惩罚(避免轨迹拖得太长),以及"不画图惩罚"(如果一条轨迹自始至终没有生成图片,额外扣分,防止模型学坏,变成一个只会搜索不会干活的懒汉)。

这个设计其实很像考核一个团队项目。如果你只看最终交付的产品好不好,团队可能会为了赶时间而砍掉调研环节,直接瞎编一个方案交差,结果可能碰巧过关,但下次未必还这么走运。反过来,如果你只看调研报告写得漂不漂亮,团队可能会陷入"分析瘫痪",迟迟不肯动手做产品。只有把"调研思路对不对"和"最终产品行不行"两头都纳入考核,才能真正逼团队把这两件事都做扎实。如果不这样双向约束,模型很容易学会一种取巧的策略:要么疯狂搜索凑字数但从不真正画图,要么随便糊弄一个描述就直接生成一张图应付了事。

实验结果:全流程交给一个策略,确实更强

那这套设计到底管不管用?

论文在两个基准上做了测试:WISE和WorldGenBench的人文分支。

先说WISE。这个基准专门测试文生图模型能不能把世界知识用进去,而不只是做浅层的词语和像素对齐。它包含1000条提示词,分成文化常识、时空推理、自然科学三大类,细分成25个子领域。

结果显示,ToolArtist在WISE上拿到了0.79分的综合得分,超过了此前的智能体式图像生成方法(Unify-Agent是0.77,GenSearcher-Qwen-Image也是0.77)。在最强的商业闭源模型(比如Nano Banana系列,能拿到0.87到0.89)面前,ToolArtist还有差距,尤其是在"时间"和"空间"这两类需要精细时空推理的题目上落后不少。但在知识密集型的自然科学类别上,比如物理拿到0.81分,化学拿到0.79分,ToolArtist的表现相当亮眼,甚至超过了不少专有模型。

再看WorldGenBench的人文分支。这个基准覆盖244个国家和地区,总共732条提示词,评分方式是"知识清单得分"（KCS,Knowledge Checklist Score）,也就是针对每一条提示词,预先列出一份"应该出现在图里的要素清单",比如恰当的服饰、当地建筑、地区特色工具、地标、牲畜、植被、海岸线,或者可读的文字标识,然后看生成的图片满足了清单里的几条。

ToolArtist在这个基准上拿到了22.10分的平均KCS,是所有非专有模型里最高的,比第二名Unify-Agent的15.58分高出不少,更是把GenSearcher-Qwen-Image的13.66分甩开了一大截。分大洲来看,ToolArtist在非洲、南极洲、亚洲三个大洲拿到了非专有模型里最高分,虽然在欧洲、北美、大洋洲这几个洲落后于开源的Qwen-Image,在南美又不敌Unify-Agent,但整体的平均表现是最均衡也最领先的。

这里有个具体案例特别值得说一说。测试题目是这样的:1955年,索科特拉岛上一位采集龙血树脂的工人正在清理树干裂缝,海风带来咸味,远处传来羊叫声。这个题目要求同时体现文化细节(传统采集工具和服饰)和地理特征(龙血树、当地牲畜、海岸线)。

ToolArtist生成的图片拿到了0.625分的KCS,而Unify-Agent是0分,GenSearcher是0.25分。差距具体体现在哪儿?ToolArtist的图里出现了传统的木质刮取工具和陶罐容器,人物穿着符合热带岛屿气候的宽松传统服装,画面里还有正在吃草的山羊,以及采集资源用的储存容器,远处还能看到清晰的海岸线。而对照组要么完全没体现这些细节,要么只对了一两个点。

这个数字的意义是什么?在这份8个要素的清单里,ToolArtist对了5个,Unify-Agent一个都没对,GenSearcher只对了2个。也就是说,同样一句话,交给不同的智能体处理,最后画出来的图,在"是否真的符合历史文化细节"这件事上,差距能拉到接近满分和零分的天壤之别。

训练过程本身也有值得说的细节

论文还展示了强化学习训练过程中的一些动态数据,挺有意思的。

在训练过程中,奖励曲线整体是往上走的,虽然原始数据波动很大(因为每次采样的搜索轨迹和图像质量都不一样,天然会有噪音),但移动平均曲线显示,训练开始有一段短暂的下滑,大概第10到20步之间迅速回升,中段在0.37到0.40之间波动,训练接近尾声的时候进一步爬到了0.41左右。

策略的生成熵(可以简单理解成模型输出的"随机程度"或者"不确定性")在训练初期大概是12.03,随着训练推进逐渐下降,后半程稳定在11.87到11.91之间。这个下降是温和的,没有出现突然的崩塌。这其实是个好消息,说明模型是在逐渐把概率质量集中到那些真正带来高奖励的推理、搜索、生成行为上,而不是突然"想通了什么"或者陷入某种极端的输出模式。

论文还专门做了一个消融实验(消融实验,指的是拿掉某个组件,看看性能会掉多少,以此验证这个组件到底有没有用),对象是图片搜索工具里附带的"来源感知摘要"（source-aware summary,即给每张搜到的参考图配一段来自原网页的文字摘要)。

结果显示,去掉这个摘要之后,WISE的综合得分从0.79直接掉到了0.61,足足掉了18个百分点。掉得最惨的是生物学这一类,直接从0.75跌到0.25,少了整整50个百分点。

这个数字说明什么?说明当模型需要参考图片来确认某个具体的、精细的事实身份时(比如某种特定物种、某个特定人物),光靠图片本身的视觉相似性是不够的。一张视觉上看起来很像的图,背后配的文字说明可能完全是另一回事。如果不给这段文字摘要,模型很容易被"看起来像"但"实际上不对"的图片带偏。这就好比你在网上搜"金毛寻回犬",搜出来的图片里混进了一张长得很像的拉布拉多,如果没有图片旁边的文字标注告诉你这两个品种的区别,单靠肉眼扫一眼图片,普通人很容易认错。这个消融实验的数字,恰恰验证了"给图片配文字背景信息"这件事有多重要,尤其是在涉及细粒度事实的场景里。

SFT数据长什么样

论文对最终留下来的7132条训练数据做了一个统计分析,挺能反映这套方法训练数据的构成特点。

这些数据涵盖的主题很杂,分布最多的是地理和建筑类(占18.9%),其次是科学工程类(14.8%)、其他类(14.1%)、历史类(11.6%)、音乐电影类(10.7%)、IP游戏类(10.4%)、艺术设计类(9.2%)、学术类(5.8%)、自然类(1.9%)、商业类(1.7%)、体育类(0.8%)。

从长度上看,每条轨迹平均包含20.5千个输入token,中位数是20.2千,说明这些训练样本本身信息量都不小,不是那种一句话就能画完的简单提示词。工具调用次数平均是4次,中位数也是4次,说明大部分任务需要模型经历好几轮"搜索-思考"的循环才能凑齐足够的信息去画图。

这组数据其实印证了论文一开始的判断:开放世界的图像生成任务,天然就需要多轮的信息搜集,不是一锤子买卖。

具体是怎么"思考"的:一个真实的例子

论文里给了一个具体的案例,展示ToolArtist在处理"托马斯·爱迪生最伟大的发明"这个请求时,内部到底是怎么一步步推理和行动的。

模型先做了一次文字搜索,查证"哪项发明最被公认为爱迪生最重要的贡献",搜索结果告诉它:白炽灯泡是爱迪生最具标志性的发明,但留声机常被描述为他的第一项伟大发明,也是他本人最喜欢的作品。

拿到这个信息之后,模型意识到一个问题:这两个发明都很有代表性,该怎么在一张图里同时体现?于是它接着做了图片搜索,分别搜了爱迪生的官方肖像、1877年原版留声机的样子、1879年实用型白炽灯泡的样子,拿到了三张参考图。

然后模型开始组织生成描述:为了同时体现这两种解读,生成的图片应该展示爱迪生站在留声机和实用型白炽灯泡旁边,场景设在他的实验室里。

最后画出来的图,是一张1900年代风格的历史照片:爱迪生站在实验室中,左手边是留声机,右手边是白炽灯泡,暖色调的环境光,整体呈现出年代感十足的照片质感。

这个过程的每一步,都是模型自己判断出来的,没有人事先告诉它"先查文字再查图片再画图"或者"要同时体现两项发明"。这恰恰是ToolArtist设计的核心价值所在:模型不是在执行一个提前写死的脚本,而是真的在根据信息的进展,一步步自己做决定。

写在后面

读完这篇论文,让我印象最深的其实不是最终的分数对比,而是那个消融实验的数字反差。去掉一段图片来源的文字摘要,生物学类目的得分直接腰斩再腰斩,从0.75掉到0.25。这个数字比任何"AI幻觉"的抽象讨论都更有说服力,它具体地告诉你,视觉上的相似性和事实上的正确性,中间隔着一道很深的沟。图片搜出来长得像,不代表它就是对的,这个直觉很多人隐约知道,但很少有实验把这种"知道但说不清"的直觉量化成了50个百分点的差距。

另一个值得琢磨的地方是那个索科特拉岛的案例。同一句话,喂给三个不同的智能体系统,一个拿了0.625分,一个拿了0.25分,一个直接是0分。这说明"能不能查资料"和"查完资料之后知不知道怎么用"完全是两码事。有搜索能力不代表能把搜到的东西真正转化成画面里的细节,这中间那道转化的坎,可能才是真正决定生成质量的关键环节,而这恰恰是ToolArtist想要用一个统一策略去打通的地方。

论文里没有细说的是,当搜索结果本身就有分歧或者错误的时候(比如网上关于某个历史细节的说法本身就众说纷纭),模型该怎么办?它现在的机制里似乎默认了搜索结果是可信的,但互联网上的信息质量参差不齐,这个问题恐怕比"要不要搜索"更棘手。

Q&A

Q1：ToolArtist和之前的文生图智能体方法比,最大的区别是什么?

A：之前的方法要么把搜索和生成写成一个提前定死的固定流程,要么让搜索代理只负责改写提示词,画图交给外部生成器完成。ToolArtist则是让搜索、推理、画图这三件事全部由同一个模型自主决定,想什么时候搜、想什么时候画、要不要重画,都是模型自己判断,不受外部规则限制。

Q2：ToolArtist是怎么训练出来的?

A：分两步。第一步是监督微调,先让一个配备了搜索工具和外部画图工具的"教师代理"跑出完整任务轨迹,再把这些轨迹里"调用外部工具画图"的部分改写成"模型自己生成图像"的格式,用7132条高质量数据训练基础能力。第二步是强化学习,用RAD-GRPO算法,同时根据"生成意图是否准确"和"最终图片质量是否达标"这两个互补的奖励信号来进一步优化模型。

Q3：ToolArtist在实际测试中表现怎么样?

A：在WISE基准上综合得分0.79,超过此前的智能体式生成方法。在WorldGenBench人文分支上平均KCS得分22.10,是所有非专有模型里最高的。一个具体案例里,同样的提示词,ToolArtist拿到0.625分,对照组分别只拿到0分和0.25分,差距明显。