网易首页 > 网易号 > 正文 申请入驻

Seedream4.0大战NanoBanana、GPT-4o?EdiVal-Agent 终结编辑评测

0
分享至

在 AIGC 的下一个阶段,图像编辑(Image Editing)正逐渐取代一次性生成,成为检验多模态模型理解、生成与推理能力的关键场景。我们该如何科学、公正地评测这些图像编辑模型?

为了解决这一难题,来自得克萨斯大学奥斯汀分校、UCLA、微软等机构的研究者们共同提出了EdiVal-Agent,一个以对象为中心的自动化、细粒度的多轮编辑(Multi-Turn Editing)评估框架。

EdiVal-Agent的名字巧妙地融合了“Editing”(编辑)和“Evaluation”(评估),并以“Agent”(智能体)的形式呈现,寓意它是一个能够自主执行复杂评估任务的智能系统。它不仅能自动化生成多样化的编辑指令,还能从指令遵循,内容一致性,视觉质量多维度对编辑结果进行精细评估,其评估结果与人类判断的一致性显著优于现有方法。

  • 论文题目:
  • EdiVal-Agent: An Object-Centric Framework for Automated, Fine-Grained Evaluation of Multi-Turn Editing
  • 论文链接:
  • https://arxiv.org/abs/2509.13399
  • 项目主页:
  • https://tianyucodings.github.io/EdiVAL-page/

评测:如何定义“好”的编辑?

当前主流评测分为两类:

1、基于参考图像(Reference-based):依赖成对的参考图像,覆盖面有限,还容易继承旧模型的偏差。

2、基于大模型打分(VLM-based):用视觉语言模型(VLM)通过提示语打分,看似方便却问题重重:空间理解差,常误判物体位置与关系;细节不敏感,难察觉局部或微小修改;审美失准,对生成瑕疵(artifacts)缺乏感知。结果是,VLM 单评虽“方便”,却难以精确、可靠地衡量编辑质量。

EdiVal-Agent :图像编辑界的“评测裁判”

EdiVal-Agent是一个面向对象的自动评测智能体。它能像人类一样,识别图像中的每个对象,理解编辑语义,并在多轮编辑中动态追踪变化。

在讲工作流之前,我们先来看一组直观的测试结果。

Base Image:两匹马

  • Turn 1:添加文字 “HORSES
  • Turn 2:棕色的马换成一只鹿
  • Turn 3:白马的毛色改成棕色

听起来很简单,对吧?但当我们让各家顶尖模型来完成这三步时,结果却大不相同。

GPT-Image-1(OpenAI) 指令执行得不错,但背景和细节越来越不一致。

Qwen-Image-Edit(阿里)在视觉质量和一致性上双双失手,第三轮后出现明显“过曝感”。

FLUX.1-Kontext-dev(Black Forest Labs) 基本能保留背景,但理解指令有偏差,比如第三轮“白马的毛色改成棕色”执行失败。

Nano Banana(Google Gemini 2.5 Flash) 表现最平衡——稳、准、无明显短板。

在刚才的对比中,我们看到不同模型在多轮编辑下表现差异明显。那 EdiVal-Agent 是如何实现自动评测、做到“既懂图又懂语义”的呢?答案来自它精心设计的三步工作流。

1、图像分解(Decomposition)

第一步,EdiVal-Agent 会让大模型(如 GPT-4o)先“看懂”一张图片。它会自动识别出图中所有可见对象,并为每个对象生成结构化的描述——包括颜色(color)、材质(material)、物体上是否存在文字(text)、数量(count) 和前景属性 (foreground)。

这些对象被汇总成一个对象池(Object Pool),并通过物体检测器进行验证过滤,为后续指令生成和评测打下基础。

2、指令生成(Instruction Generation)

第二步,EdiVal-Agent 根据场景自动生成多轮编辑指令。 它拥有覆盖9 种编辑类型、6 个语义类别的指令体系,包括:

添加(add)、删除(remove)、替换(replace)、 改颜色(color alter)、改材质(material alter)、改文字(text change)、移动位置(position change)、改数量(count change)、换背景(background change)。

EdiVal-Agent 会动态维护三个对象池:

  • All Objects Pool(所有出现过的对象)
  • Available Objects Pool(当前可编辑的对象)
  • Unchanged Objects Pool(尚未被修改的对象)

在每一轮编辑中,智能体都会:

  • 随机选取指令类型;
  • 挑选合适对象;
  • 生成自然语言编辑指令;
  • 更新对象池状态。

默认设置为三轮(Turn 1 – Turn 3),也可以扩展到更长链条,实现更多轮可组合编辑。

3、 自动评测(Evaluation)

最后一步,EdiVal-Agent 从三个维度评估模型表现:

  • EdiVal-IF(Instruction Following)判断模型是否准确执行指令——例如“把白马换成鹿”是否真的完成。 对于符号任务(如位置或数量变化),使用 Grounding-DINO 等开放词汇检测器进行几何验证; 对于语义任务(如颜色或背景变化),则结合物体检测器和VLM进行语义核对。
  • EdiVal-CC(Content Consistency)测量未被编辑的部分是否保持一致。 它计算背景区域(排除 All Objects Pool 中的所有物体)与未修改对象(属于 Unchanged Objects Pool 的物体)之间的语义相似度,以确保模型不会“误伤”无关区域。比如,下图中GPT-Image-1编辑后的STOP 标志发生了明显变化,而Nano Banana则更真实地保持了内容一致性
  • EdiVal-VQ(Visual Quality)使用 Human Preference Score v3 评估整体视觉质量,量化生成结果的美观度自然度

最终综合指标EdiVal-O通过几何平均融合EdiVal-IF和EdiVal-CC,平衡“是否听话”与“是否稳定”。

为什么不把 EdiVal-VQ 纳入总体分数?

在评估中,我们发现“视觉质量(EdiVal-VQ)”虽然重要,但并不适合直接计入综合得分。以指令“将背景换成图书馆”为例:

  • GPT-Image-1会倾向于“美化”图像,让整体更光亮、更清晰,从而提升审美得分
  • FLUX.1-Kontext-max则选择“保真”策略,尽量保持原始风格,只替换必要区域。

这说明不同模型在面对同一任务时,有的更追求视觉美感(beautification),有的更注重和保真(preservation)。由于在图像编辑中,是否应追求“美化”仍存在争议,因此我们未将 EdiVal-VQ 纳入最终评测指标。

EdiVal-Agent 的人类一致性验证

EdiVal-Agent评测结果能否“想法与人一致”?

我们设计了一项人类一致性实验(Human Agreement Study),来检验 EdiVal-Agent 的评测结果,是否真正符合人类判断。结果如下:

EdiVal-Agent 的指标EdiVal-IF与人类判断的平均一致率高达81.3%。相比之下,传统评测方法的表现明显更低:

  • VLM-only(Qwen-2.5-VL):75.2%
  • CLIP-dir(CLIP-directional similarity):68.9%

换句话说,EdiVal-Agent 不仅能“算得对”,更能“想得像人”。此外,人工之间的一致率为85.5%,这意味着——EdiVal-Agent 的表现已接近人类评测的上限。

为什么 EdiVal-IF 与人类判断更为一致?

符号任务更精准。对于“添加 / 删除 / 替换 / 移动 / 改数量”等符号(symbolic)任务,EdiVal-IF使用Grounding-DINO精确检测目标是否真的出现、移动或消失,几乎没有歧义。相比之下,VLM模型则容易受到幻觉(Hallucination)与空间推理(Spatial Reasoning)的限制。

语义任务更智能。 对于“改颜色 / 改材质 / 改文字 / 换背景”等语义(semantic)任务,EdiVal-IF将VLM(Qwen-2.5-VL)与对象检测(Object Detection)相结合,先定位,再推理,让模型真正做到“对着图回答问题”。

结果表明,这种检测 + 推理融合的方式,比单纯让大模型“看图说话”更加稳定、可靠。

谁才是最强图像编辑模型?

在本文提出的多轮图像编辑EdiVal-Bench上,EdiVal-Agent系统对比了13 个代表性模型,涵盖闭源与开源、in-context和context-free,Flow Matching与Diffusion等不同范式。结果如下:

其中EdiVal-IF衡量的是模型指令遵循的能力,EdiVal-CC衡量的是模型内容一致性的能力。EdiVal-O是两者的几何平均值,为最终评分。可以看到:

  • Seedream 4.0 在指令遵循能力上遥遥领先,并且在最终评分上全面超越国际闭源模型,排名第一;
  • Nano Banana在速度(Latency)与质量上达成完美平衡,在内容一致性上尤为出色,排名第二;
  • GPT-Image-1指令遵循能力上出色,因追求美观(见上文)而牺牲一致性,位列第三;
  • Qwen-Image-Edit出现典型“曝光偏差(exposure bias)”:在编辑次数变多时越改越偏,其在开源模型中排名第一,总排名第六。

评测结果也解释了为什么ChatGPT-4o在吉卜力风格迁移指令遵循和美化效果出圈,而Nano Banana在OOTD这些背景/物体一致性要求比较高的任务上出圈。

更多实验结果与详细分析(比如关于in-context和complex editing),欢迎阅读原文。

关于作者

论文作者成员来自UT-Austin, UCLA,Microsft GenAI 以及Lambda Inc,两位共同一作分别是陈天钰,张雅思。

陈天钰,得克萨斯大学奥斯汀分校(UT-Austin)统计系博士生(三年级),导师为周名远教授。硕士毕业于芝加哥大学,本科毕业于复旦大学统计系。研究方向涵盖生成模型、强化学习、因果推断与表示学习等,目前与Microsoft GenAI开展长期合作研究。

张雅思,加州大学洛杉矶分校(UCLA)统计与数据科学系博士生(四年级),师从吴英年教授与 Oscar Leong 教授。研究方向聚焦生成式人工智能、多模态学习、大模型后训练与计算机视觉,曾在Amazon AWS AI Labs与Google Research从事相关研究工作。

值得一提的是,两位共一本科均毕业于复旦大学。

陈天钰

张雅思

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
申京空砍28+11+10火箭不敌掘金,杜兰特仅16分约基奇26分11助

申京空砍28+11+10火箭不敌掘金,杜兰特仅16分约基奇26分11助

湖人崛起
2026-11-21 13:38:41
德州发布最新人事任免

德州发布最新人事任免

中国山东网
2026-11-21 12:52:14
红果短剧全面下架,彻底失控了

红果短剧全面下架,彻底失控了

李东阳朋友圈
2026-11-20 10:00:35
北京雍和宫旁2.2平米毛坯房卖60万!中介:有房本,不是违建,至今没人看房

北京雍和宫旁2.2平米毛坯房卖60万!中介:有房本,不是违建,至今没人看房

极目新闻
2026-11-21 20:11:56
美媒:美军战略大撤退开启,中美主战场从台湾岛前推 3000公里!

美媒:美军战略大撤退开启,中美主战场从台湾岛前推 3000公里!

乡土舒四
2026-11-19 16:35:08
降薪220万欧回国!33岁中超MVP官宣离队 4年2次来华+助两队夺首冠

降薪220万欧回国!33岁中超MVP官宣离队 4年2次来华+助两队夺首冠

我爱英超
2026-11-21 19:47:23
菲总统小马科斯夸赞中方迎宾曲安排:温暖贴心!

菲总统小马科斯夸赞中方迎宾曲安排:温暖贴心!

看看新闻Knews
2026-11-21 17:50:41
网红“东北雨姐”仍潇洒! 参加山东饭局,喝300多一瓶的汾酒,席间倒酒喝酒动作太豪横,一口闷

网红“东北雨姐”仍潇洒! 参加山东饭局,喝300多一瓶的汾酒,席间倒酒喝酒动作太豪横,一口闷

裕丰娱间说
2026-11-21 14:26:14
何沁教授逝世

何沁教授逝世

极目新闻
2026-11-21 16:50:35
丢人!一女博主自曝在德国15年,交往过大量的外国男人,后续会出专题系列

丢人!一女博主自曝在德国15年,交往过大量的外国男人,后续会出专题系列

小徐讲八卦
2026-11-20 06:39:39
确诊不到一年,患全球罕见变异白血病小伙去世 生前最大愿望是活着陪妈妈回四川老家

确诊不到一年,患全球罕见变异白血病小伙去世 生前最大愿望是活着陪妈妈回四川老家

红星新闻
2026-11-21 15:12:39
没想到,APEC峰会结束仅1天,中国竟因三个“特产”在全球火出圈

没想到,APEC峰会结束仅1天,中国竟因三个“特产”在全球火出圈

云上乌托邦
2026-11-21 00:20:04
火箭主帅怒批球员:打得这么烂,你一场球都赢不了

火箭主帅怒批球员:打得这么烂,你一场球都赢不了

体坛周报
2026-11-21 17:34:09
“不把孩子带到这个世界,才是对孩子真正的负责”,成为了大部分90后、00后的想法

“不把孩子带到这个世界,才是对孩子真正的负责”,成为了大部分90后、00后的想法

舒山有鹿
2026-11-20 16:20:23
杭州一女子参加旅游团,3天2晚仅交100元,却被忽悠花34万元买房,如今“肠子都悔青”:这样的房子10万元都不值;官方回应:已成立调查组

杭州一女子参加旅游团,3天2晚仅交100元,却被忽悠花34万元买房,如今“肠子都悔青”:这样的房子10万元都不值;官方回应:已成立调查组

扬子晚报
2026-11-21 17:10:20
普林斯顿博士生被拘事件​​​曝更多内幕:14岁移居纽约,全家申请政治庇护

普林斯顿博士生被拘事件​​​曝更多内幕:14岁移居纽约,全家申请政治庇护

小徐讲八卦
2026-11-21 10:28:27
都快两个月了,刹车踏板断裂该出调查结果了吧?

都快两个月了,刹车踏板断裂该出调查结果了吧?

神不隆通
2026-11-21 08:00:08
78岁中国体育大佬被查!曾担任篮协+羽协副主席 媒体人曝光内幕

78岁中国体育大佬被查!曾担任篮协+羽协副主席 媒体人曝光内幕

念洲
2026-11-21 13:12:32
四川小伙用竹子“手搓”自行车,售价八千元起步,NBA球星都来定制,已卖到19个国家和地区,每年出货几百台

四川小伙用竹子“手搓”自行车,售价八千元起步,NBA球星都来定制,已卖到19个国家和地区,每年出货几百台

台州交通广播
2026-11-21 10:23:13
中国台北代表施振荣的不习惯,映照台当局在两岸交流上的政治操弄!

中国台北代表施振荣的不习惯,映照台当局在两岸交流上的政治操弄!

有态度的何总
2026-11-21 08:06:02
2026-11-21 21:04:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14525文章数 142761关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

电动摩托车爆燃致5人遇难 调查组:建议不追究车主刑责

头条要闻

电动摩托车爆燃致5人遇难 调查组:建议不追究车主刑责

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

虞书欣擦边自拍、霸凌同事、媒体点名?

财经要闻

走过三年牛市,黄金何去何从?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

房产
亲子
数码
游戏
公开课

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

亲子要闻

42岁妈妈8个月减重50斤判若两人!“决定把注意力放回自己身上”,中度脂肪肝消失了,情绪不内耗了,和孩子关系也改善了

数码要闻

天钡G-FLIP迷你主机新增AMD R7 H 255 + 24G + 1T版本,4599元

《GTA6》Xbox代码泄露 PC移植版或一周内完成

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版