网易首页 > 网易号 > 正文 申请入驻

你的模型评测搭子上线:Evaluation Agent懂你更懂AI

0
分享至

本文作者来自于上海人工智能实验室与新加坡南洋理工大学,分别是张凡、田淑琳、黄子琪,指导老师是乔宇老师与刘子纬老师。

怎么快速判断一个生成模型好不好?

最直接的办法当然是 —— 去问一位做图像生成、视频生成、或者专门做评测的朋友。他们懂技术、有经验、眼光毒辣,能告诉你模型到底强在哪、弱在哪,适不适合你的需求。

但问题是:

  • 朋友太忙,没法一条条帮你看;
  • 你问题太多,不只是想知道「好不好」,还想知道「哪里不好」「为啥好」「适不适合我」。

你需要一位专业、耐心、随叫随到的评估顾问。

于是,来自上海人工智能实验室 & 南洋理工大学 S-Lab 的研究者合作研发了一个AI 版本的「懂行朋友」——Evaluation Agent。

它不仅评测,还能听你提问、为你定制测试、写出人类专家一样的分析报告。

  • 你问「它拍古风视频怎么样?」,它就给你规划方案;
  • 你问「懂光圈焦距吗?」,它就设计针对测试;
  • 你想知道适不适合你,它还真能给出解释。

这就是视觉生成模型评估的新范式:

Evaluation Agent 入选 ACL 2025 主会 Oral 论文。

  • 论文:https://arxiv.org/abs/2412.09645
  • 代码:https://github.com/Vchitect/Evaluation-Agent
  • 网页:https://vchitect.github.io/Evaluation-Agent-project/
  • 论文标题:Evaluation Agent: Efficient and Promptable Evaluation Framework for Visual Generative Models

为什么选择 Evaluation Agent?

1. 可定制:你说关注点,它来定方案。

不同人对生成模型有不同期待 —— 风格?多样性?一致性?

只需用自然语言说出你的关注点,Evaluation Agent 就能:

  • 自动规划合适的评估流程
  • 根据中间结果灵活调整评估方向
  • 针对性地深入分析你关心的能力维度

真正实现「按需评估」,服务你的具体任务。

2. 高效率:更少样本,评得更快

传统评估动辄需要几千张样本,Evaluation Agent 通过多轮交互式评估与智能采样策略,大幅减少样本数量。整体评估过程的耗时可以压缩到传统方法的 10% 左右,尤其适合在迭代开发中快速反馈。

3. 可解释:让评估结果说人话

结果不仅是表格和数字,Evaluation Agent 会以自然语言生成分析报告,不仅涵盖模型能力的全面总结,还能指出模型的局限性和改进方向。

4. 可扩展:支持不同任务、工具、指标的集成

Evaluation Agent 是一个开放框架,支持集成新评估工具和指标,适用于不同的视觉生成任务(如图片生成和视频生成)。

框架工作原理

Evaluation Agent 框架主要由两个阶段组成:

1. 提案阶段(Proposal Stage)

  • Plan Agent:分析用户需求,动态规划评估路径。
  • PromptGen Agent:为每个子任务生成专属的评估提示(prompt)。

这一阶段的目标是:根据你的关注点,量身定制评估方案。

2. 执行阶段(Execution Stage)

框架利用视觉生成模型生成内容,并通过相应评估工具进行质量分析。

  • 视觉生成模型:根据上阶段设计的 prompt 生成样本
  • 评估工具包:根据提案阶段的规划选用合适的工具对采样内容进行评估

3. 动态多轮交互

评估不是一次性完成的。Execution 阶段的每一轮评估结果,都会反馈给 Proposal 阶段,用于优化后续 prompt 和任务设置。通过这种多轮协同,Evaluation Agent 实现了对模型能力的动态、深入评估。

结果展示

1. 对比传统评测框架

视频生成模型评测效率上与 VBench 评测框架的对比

图片生成模型评测效率上与 T2I-CompBench 评测框架的对比

研究团队在图片生成任务(T2I)和视频生成任务(T2V)上对 Evaluation Agent 进行了全面验证。结果表明,其评估效率显著高于现有基准框架(如 VBench、T2I-CompBench),相较于传统的评测框架节省了 90% 以上的时间,且评估结果具有较高一致性。

2. 用户开放式评估场景

对用户开放问题评估的部分样例

Evaluation Agent 不仅能够高效评估模型的表现,还能灵活处理用户提出的个性化评估需求,例如:

  • 模型能否生成特定历史场景的高质量视频?
  • 模型是否理解并能应用焦距、光圈、ISO 等摄影概念?

在处理用户的开放式查询时,Evaluation Agent 展现了卓越的灵活性和深度。它能够根据用户的定制需求,系统地探索模型在特定领域的能力,从基本问题开始,逐步动态深入,最终通过自然语言详细分析和总结评估结果。

例如,对于问题「模型是否能够在保持原始风格的同时生成现有艺术作品的变体?」,下面展示了完整的评估过程。

在 Evaluation Agent 工作中,开放式用户评估问题数据集(Open-Ended User Query Dataset) 是检验框架开放式评估能力的重要组成部分。该数据集为系统提供了多样化的评估场景,特别是在面临复杂的、用户特定的评估需求时,能够展现出系统的灵活性和动态评估能力。

开放式用户评估问题数据集首先通过用户调研收集了来自用户的一系列针对模型能力的开放问题。随后,经过数据清洗、过滤、扩展以及标签打标等处理,最终完成了数据集的构建。该数据集涵盖了广泛的评估维度,能够全面评估模型的各项能力。下图展示了该数据集在不同类别下的统计分布。

开放式用户评估问题数据集统计分布

前景与进一步计划

Evaluation Agent 的初步研究已经证明其在视觉生成模型评估中的高效性和灵活性。未来,该方向可能在以下领域进一步拓展和深入研究:

1. 扩展评估能力,涵盖更多视觉任务

  • 目前 Evaluation Agent 已适用于图像和视频生成模型,未来将扩展到3D 内容生成、AIGC 视频编辑等更复杂的生成任务。
  • 增加对多模态 AI(如结合文本、音频、视频的生成模型)的评估能力,探索不同 AI 模型在跨模态任务中的表现。

2. 优化开放式评估机制

  • 进一步完善开放式用户评估问题数据集,提升 Evaluation Agent 对复杂、抽象概念(如风格迁移、艺术融合、情感表达等)的理解和评估能力。
  • 引入强化学习机制,使 Evaluation Agent 能够利用基于用户反馈的数据实现自我优化,提高评估的精准性和适应性。

3. 从自动评测迈向智能推荐

  • 未来,该框架可拓展用于视觉生成模型的个性化推荐,依据用户的具体需求自动匹配最合适的生成模型,并生成详尽的评估报告。
  • 研究如何利用众包数据,收集不同领域的专业人士(如设计师、摄影师、影视制片人)对 AI 生成内容的反馈,以提升评估框架在多领域场景下的适应性和泛化能力。

总结

Evaluation Agent 提出了一种高效、灵活、可解释的视觉生成模型评估新范式。它突破了传统评估方式的限制,能够根据用户需求动态分析模型表现,为生成式 AI 的理解与优化提供支持。无论关注的是准确性、多样性,还是风格与创意,这一框架都能给出清晰、有针对性的评估结果。

研究团队希望这一方法能为视觉生成模型的评估带来新的思路,推动更智能、更灵活的评估体系发展。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
真的没救了!浙江穿搭博主吐槽女装吊牌前置太大,看不清上身效果,10件衣服全退

真的没救了!浙江穿搭博主吐槽女装吊牌前置太大,看不清上身效果,10件衣服全退

火山詩话
2026-11-19 08:41:25
日方确认高市早苗与普京在深圳聊了30分钟,对话由日方主动提出

日方确认高市早苗与普京在深圳聊了30分钟,对话由日方主动提出

凤凰卫视
2026-11-20 16:23:06
有人预测:未来五年内,中国股市很可能将消失的5类股票

有人预测:未来五年内,中国股市很可能将消失的5类股票

星语者056
2026-11-21 10:22:33
37分!18篮板!11助攻!联盟第1!MVP大黑马诞生

37分!18篮板!11助攻!联盟第1!MVP大黑马诞生

微评体育圈
2026-11-21 09:19:07
软银孙正义曾考虑1万亿美元收购SK海力士,现已暂缓

软银孙正义曾考虑1万亿美元收购SK海力士,现已暂缓

界面新闻
2026-11-21 10:40:18
好奇查了一下黄仁勋的出身,不查不知道,一查惊讶了,原来黄仁勋根本不是什么大富豪家庭,而是普通的知识分子家庭。

好奇查了一下黄仁勋的出身,不查不知道,一查惊讶了,原来黄仁勋根本不是什么大富豪家庭,而是普通的知识分子家庭。

回京历史梦
2026-11-15 06:35:06
放松限韩令的风声一出,很快就有影响了

放松限韩令的风声一出,很快就有影响了

清晖有墨
2026-11-19 20:30:22
兵败如山倒?国产新能源或已经证明:中国根本不需要二线豪华品牌

兵败如山倒?国产新能源或已经证明:中国根本不需要二线豪华品牌

浩渺青史
2026-11-21 03:59:39
按照7909元执行!山东发布通知

按照7909元执行!山东发布通知

日照日报
2026-11-21 11:23:34
“洗一次摇粒绒释放70万根微塑料纤维”上热搜,专家提醒

“洗一次摇粒绒释放70万根微塑料纤维”上热搜,专家提醒

齐鲁壹点
2026-11-20 22:59:18
收废品收到一架飞机?湖北武汉95后小伙子承父业收废品,“收”到一架空客A300,拆解视频意外爆火,本人回应:把童年顺口溜干成了现实

收废品收到一架飞机?湖北武汉95后小伙子承父业收废品,“收”到一架空客A300,拆解视频意外爆火,本人回应:把童年顺口溜干成了现实

大风新闻
2026-11-20 21:19:08
轰51+6+6!登顶历史第一,阿特金森预言成真,哈登也彻底清醒了

轰51+6+6!登顶历史第一,阿特金森预言成真,哈登也彻底清醒了

体育火锅T
2026-11-21 12:51:57
卞相壹惊天逆转夺冠,复盘三星杯失利,教训值得深思,教练棋手均糊弄人

卞相壹惊天逆转夺冠,复盘三星杯失利,教训值得深思,教练棋手均糊弄人

L76号
2026-11-21 09:52:30
印度网红来重庆旅游,痛批中国人吃牛肉的行为,完全不尊重印度文化

印度网红来重庆旅游,痛批中国人吃牛肉的行为,完全不尊重印度文化

新游戏大妹子
2026-11-20 13:07:07
英伟达单日暴跌14%,但斌回应“清盘线”:部分基金只能被动减仓

英伟达单日暴跌14%,但斌回应“清盘线”:部分基金只能被动减仓

每日经济新闻
2026-11-21 15:14:06
刹车踏板踩断都快两个月了,调查结果也该出了吧

刹车踏板踩断都快两个月了,调查结果也该出了吧

神不隆通
2026-11-21 10:49:57
湖南出现历史上最荒唐法官!判男方净身出户,然后跟拿到全部资产的女方结婚

湖南出现历史上最荒唐法官!判男方净身出户,然后跟拿到全部资产的女方结婚

爆角追踪
2025-11-23 11:25:00
男子花800元购仿真虎皮坐垫在院里晾晒,被路过萌娃误传为“有人杀虎”,当事人:吓了一跳,林业局找上门,派出所也准备出警

男子花800元购仿真虎皮坐垫在院里晾晒,被路过萌娃误传为“有人杀虎”,当事人:吓了一跳,林业局找上门,派出所也准备出警

潇湘晨报
2026-11-20 12:00:15
山姆最新上架!3970元4次,春节五一等除外!网友觉得没什么吸引力

山姆最新上架!3970元4次,春节五一等除外!网友觉得没什么吸引力

上海约饭局
2026-11-20 14:34:07
知情人士:美方要求乌明年1月初与俄达成和平协议

知情人士:美方要求乌明年1月初与俄达成和平协议

界面新闻
2026-11-21 08:00:30
2026-11-21 17:35:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14525文章数 142761关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

家居
教育
亲子
时尚
军事航空

家居要闻

2026建博会(广州) 公装联探展交流活动

教育要闻

曾经“感动中国”的庞众望完成清华大学博士论文答辩,本人发声:将继续潜心钻研,在科研探索的道路上不断前行

亲子要闻

宝宝必看的5个启蒙动画,豆瓣评分都是在9.0以上

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

军事要闻

沙特首都第一高楼遭袭:炮弹从天而降

无障碍浏览 进入关怀版