网易首页 > 网易号 > 正文 申请入驻

阿里高德发布SpatialGenEval,揭秘谁才是真正的文生图大师

0
分享至



尽管目前文生图模型(Text-to-Image Models)在生成高保真图像上表现卓越,但在应对空间感知、空间逻辑推理及多目标空间交互等贴合现实场景的复杂空间智能任务时往往力不从心。现有评估基准主要依赖简短或信息稀疏的提示词,难以覆盖复杂的空间逻辑,导致模型在这些关键空间智能维度上的能力缺陷被严重低估。

来自阿里高德的一篇最新 ICLR 2026 中稿论文《Everything in Its Place: Benchmarking Spatial Intelligence of Text-to-Image Models》提出了面向文生图空间智能的系统性评估基准 SpatialGenEval,旨在通过长文本、高信息密度的 T2I prompt 设计,以及围绕空间感知、空间推理和空间交互的 10 大空间智能能力维度设计,深入探测文生图模型的空间智能能力边界。



SpatialGenEval 将生图空间智能能力细分为 4 大维度,10 个子维度,覆盖 25 个现实应用场景,基于 23 个 SOTA 模型的评估结果表明当前模型的空间智能能力仍有待大幅提升



  • 论文标题:Everything in Its Place: Benchmarking Spatial Intelligence of Text-to-Image Models
  • 论文链接:https://arxiv.org/abs/2601.20354
  • 论文代码:https://github.com/AMAP-ML/SpatialGenEval

核心挑战:目前 T2I 模型空间认知 “浅表化” 与逻辑缺失

现有文生图模型虽然能够很好地完成 “生成什么”(What)的语义对齐,但在处理 “空间位置在哪里”(Where)、“空间如何排列”(How)以及物理世界中的 “空间交互逻辑”(Why)时,面临着从 “基础感知” 到 “高阶推理” 的全方位挑战,包括:

1. 空间基础的 “属性漂移” 与缺失:模型虽然能画出物体,但在信息密集提示词下,常出现物体漏画或属性绑定错误,无法维持 “万物各司其职” 的基础对齐能力。

2. 空间感知的 “几何偏见”:在处理物体精确位置、朝向及特定排列布局时,模型往往倾向于生成 “默认姿态”(如正面视图),难以跨越 2D 画布实现精准的空间定位。

3. 空间推理的 “逻辑盲区”:这是当前模型最大的短板。在涉及相对数值比较(如 “红椅比蓝椅大两倍”)、3D 遮挡关系及物理距离邻近性时,模型得分接近随机猜测,表明其缺乏对真实物理世界层级和深度的认知。

4. 空间交互的 “动态失真”:模型难以捕捉物体间的动态瞬间(如跳跃中的足球)或物理因果逻辑(如撞击导致的破碎),无法将潜藏的物理动力学转化为逻辑自洽的视觉图像。



上:当前生成模型在感知、推理和交互上的错误样例;下:当前评估基准存在信息稀疏 / 粗粒度 yes-or-no 评估

SpatialGenEval:涉及空间基础、感知、推理和交互的空间智能 “全科扫描”

为了系统化地定义和评估文生图模型 “空间智能” 能力,研究团队构建了一个层次化框架,将空间智能解构为 4 大领域及 10 个关键子维度:

1. 空间基础 (S1/S2):多目标物体类别(S1)、多目标属性绑定(S2)。

2. 空间感知 (S3/S4/S5):空间位置(S3)、空间朝向(S4)与空间布局(S5)。

3. 空间推理 (S6/S7/S8):空间大小 / 长度 / 高矮等比较(S6)、空间邻近性(S7)与空间位置遮挡(S8)。

4. 空间交互 (S9/S10):空间运动交互(S9)与空间因果交互(S10)。

该基准测试覆盖自然、室内、户外、人类活动及艺术设计等 25 个现实世界场景,为其精心构建了 1,230 条 长文本、信息密集型提示词。每个提示词均深度融合了上述从基础属性、布局到高阶遮挡、因果推理等 10 个空间子领域及对应全维度问答。值得注意的是,每个提示词长度约 60 词,允许同时兼顾依赖 CLIP 编码模型(77 tokens 限制)和保持高度信息密集。



SpatialGenEval 评估数据构建流程



SpatialGenEval 所有 10 个空间维度的提示词及其问题展示



核心发现:空间推理仍是主要瓶颈

研究团队对 23 款前沿的开源与闭源 T2I 模型进行了详尽评估,揭示了以下行业现状:

  • 空间推理是核心薄弱环节:在涉及比较和遮挡的空间推理子任务中,多数模型的得分仅在 30% 左右,接近随机猜测水平(20%),这表明目前的模型普遍缺乏对 3D 场景结构和逻辑关系的理解。
  • 开源模型正快速追赶:评测显示,最强的开源模型 Qwen-Image (60.6%) 表现已与顶级闭源模型 Seed Dream 4.0 (62.7%) 基本持平,但均仅达到及格线水平,空间智能仍有巨大提升空间。
  • 强大的文本编码器至关重要:使用高性能 LLM(如 T5 或大型语言模型)作为文本编码器的模型(如 FLUX.1),在解析复杂空间指令时显著优于仅依赖 CLIP 的模型。



基于 Qwen2.5-VL-72B-Instruct 的自动化评估结果



左:所有评估模型的错误类型分布;右:高优模型的错误类型分布

数据中心范式:提升模型空间智能的有效路径

除了评估,该研究还提出了一种基于已有生成图像的改进方案。团队通过多模态大模型(MLLM)重写提示词以确保图文一致性,构建了包含 15,400 对图文数据的 SpatialT2I 数据集。对主流三大类模型(Diffusion-based, AR-based,Unified-based 模型)进行监督微调结果在空间评估指标有显著增益,生成的图像在物理逻辑和空间布局上更具真实感。



微调模型后的生成结果对比

总结与展望

SpatialGenEval 为 T2I 模型从 “美学生成” 迈向 “逻辑感知” 建立了一条新的评估路线,只有让模型真正理解 “万物各得其所 (Everything in its place)”,生成式 AI 才能在机器人辅助、室内设计、自动驾驶仿真等对空间维度有严苛要求的领域中释放真正的生产力。

作者团队介绍

阿里高德的机器学习研发部,承接公司重点业务,包括本地生活场景中的广告创意、商品理解、内容智能创作和分发,出行场景的 AI 智能化等,部门研究领域广泛,包括但不限于以下方向:(1) 多模态大模型;(2) 图像生成 / 编辑美化;(3) 视频生成 / 理解;(4) Agent; (5) 时空数据挖掘;(6) 智能推荐;(7) 高性能推理等。团队技术氛围好,成长空间大,拥有充足的研发资源和大量的业务应用数据,多篇论文入选 paper digest 最有影响力论文名单。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
“韩红基金会”被实名举报!向疑似“空壳公司”花6000万采购救护车,涉事单位注册资本300万,员工仅2人

“韩红基金会”被实名举报!向疑似“空壳公司”花6000万采购救护车,涉事单位注册资本300万,员工仅2人

火山詩话
2026-07-17 07:54:53
伊朗革命卫队:打击叙利亚美军指挥中心 造成大量美军人员死亡

伊朗革命卫队:打击叙利亚美军指挥中心 造成大量美军人员死亡

财联社
2026-07-17 13:12:23
笑不活了!冉莹颖买了上千双高跟鞋霸屏热搜,没想到评论区句句都是梗

笑不活了!冉莹颖买了上千双高跟鞋霸屏热搜,没想到评论区句句都是梗

八卦南风
2026-07-17 17:00:07
王朔说:“中国有一个怪象:家里越是穷的,亲戚之间只在过年走动;家里越是富裕的,亲戚之间经常相互帮衬,家族越来越兴旺!”

王朔说:“中国有一个怪象:家里越是穷的,亲戚之间只在过年走动;家里越是富裕的,亲戚之间经常相互帮衬,家族越来越兴旺!”

谭老师地理大课堂
2026-07-16 01:52:23
Metro:恩佐-费尔南德斯社媒嘲讽英格兰,随后删除

Metro:恩佐-费尔南德斯社媒嘲讽英格兰,随后删除

懂球帝
2026-07-17 19:23:05
中超1-1神剧情:双方后卫轮番送大礼 争冠豪门惨遭爆冷 3连平+7轮2胜

中超1-1神剧情:双方后卫轮番送大礼 争冠豪门惨遭爆冷 3连平+7轮2胜

狍子歪解体坛
2026-07-17 20:54:59
重庆彭水山体崩塌,有烟花爆竹商铺被推至河边!已营业6年多

重庆彭水山体崩塌,有烟花爆竹商铺被推至河边!已营业6年多

南方都市报
2026-07-17 18:29:21
满仓满融亏1000万爆仓后续,任泽平删帖解散群:会员费收了2个亿,会员被挂在山尖上

满仓满融亏1000万爆仓后续,任泽平删帖解散群:会员费收了2个亿,会员被挂在山尖上

新浪财经
2026-07-17 20:05:14
高度认同高志凯提出的撤销国家移民局的建议!

高度认同高志凯提出的撤销国家移民局的建议!

李光满说
2026-07-17 16:17:45
连杯面都吃不起,日本物价全面失控,正在榨干底层最后一滴血

连杯面都吃不起,日本物价全面失控,正在榨干底层最后一滴血

探索新高度
2026-07-17 10:18:01
巴黎人报:超5万名法国球迷请愿,要求法西世界杯半决赛重赛

巴黎人报:超5万名法国球迷请愿,要求法西世界杯半决赛重赛

懂球帝
2026-07-17 10:16:16
法国队内矛盾爆发!登贝莱在世界杯半决赛期间的言论激怒了队友

法国队内矛盾爆发!登贝莱在世界杯半决赛期间的言论激怒了队友

夜白侃球
2026-07-17 12:06:10
霍尔木兹大消息,美军出动2艘航母1万士兵,迫使多艘商船改道,导弹打击不配合油轮!伊朗:美军白费功夫,海峡将继续关闭

霍尔木兹大消息,美军出动2艘航母1万士兵,迫使多艘商船改道,导弹打击不配合油轮!伊朗:美军白费功夫,海峡将继续关闭

每日经济新闻
2026-07-17 12:11:00
菲律宾人走上街头抗议,他们终于意识到,自己被马科斯出卖了

菲律宾人走上街头抗议,他们终于意识到,自己被马科斯出卖了

空天力量
2026-07-17 17:14:54
特朗普:你们竟然还敢反华?

特朗普:你们竟然还敢反华?

智先生
2026-07-16 23:54:12
西班牙首相将出席世界杯决赛;阿根廷总统选择在家里穿一件厚重夹克观赛:“与瑞士队比赛那天,我把它脱掉后他们就进球了”

西班牙首相将出席世界杯决赛;阿根廷总统选择在家里穿一件厚重夹克观赛:“与瑞士队比赛那天,我把它脱掉后他们就进球了”

极目新闻
2026-07-17 19:01:23
1965年身处香港,何香凝含泪质问宋庆龄:咱们多年积下的身家,最后怎么全让那个洋行买办的混血外孙给接管了

1965年身处香港,何香凝含泪质问宋庆龄:咱们多年积下的身家,最后怎么全让那个洋行买办的混血外孙给接管了

磊子讲史
2026-07-13 15:28:40
紧急警告!A 股大跌,重大危险信号出现,抓紧避险!

紧急警告!A 股大跌,重大危险信号出现,抓紧避险!

星图金融研究院
2026-07-17 15:37:12
不听劝的阶跃闯进手机战场,造一台为人机共生的终端|WAIC

不听劝的阶跃闯进手机战场,造一台为人机共生的终端|WAIC

爱范儿
2026-07-17 19:34:31
重庆彭水山体崩塌 有幸存者从江中浮起

重庆彭水山体崩塌 有幸存者从江中浮起

经济观察报
2026-07-17 16:56:09
2026-07-18 02:32:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
13537文章数 142693关注度
往期回顾 全部

科技要闻

WAIC2026看什么?这份"不迷路"攻略请收好

头条要闻

重庆山体崩塌致8死34人失联 前后对比图披露

头条要闻

重庆山体崩塌致8死34人失联 前后对比图披露

体育要闻

30亿欧对决,世界杯季军战毫无意义?

娱乐要闻

曲婉婷自爆患癌!全网喊“苍天绕过谁”

财经要闻

梁文锋不需要天才

汽车要闻

把中国超跑卖到英国,比亚迪正在被世界看见

态度原创

教育
家居
艺术
游戏
公开课

教育要闻

定了!录取通知书可查!

家居要闻

2026建博会(广州) 公装联探展交流活动

艺术要闻

470米,烂尾的“重庆第一高楼”,无人接盘!

悬赏上万美元破解PS5!硬刚索尼封闭生态

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版