网易首页 > 网易号 > 正文 申请入驻

阿里高德发布SpatialGenEval,揭秘谁才是真正的文生图大师

0
分享至

尽管目前文生图模型(Text-to-Image Models)在生成高保真图像上表现卓越,但在应对空间感知、空间逻辑推理及多目标空间交互等贴合现实场景的复杂空间智能任务时往往力不从心。现有评估基准主要依赖简短或信息稀疏的提示词,难以覆盖复杂的空间逻辑,导致模型在这些关键空间智能维度上的能力缺陷被严重低估。

来自阿里高德的一篇最新 ICLR 2026 中稿论文《Everything in Its Place: Benchmarking Spatial Intelligence of Text-to-Image Models》提出了面向文生图空间智能的系统性评估基准 SpatialGenEval,旨在通过长文本、高信息密度的 T2I prompt 设计,以及围绕空间感知、空间推理和空间交互的 10 大空间智能能力维度设计,深入探测文生图模型的空间智能能力边界。

SpatialGenEval 将生图空间智能能力细分为 4 大维度,10 个子维度,覆盖 25 个现实应用场景,基于 23 个 SOTA 模型的评估结果表明当前模型的空间智能能力仍有待大幅提升

  • 论文标题:Everything in Its Place: Benchmarking Spatial Intelligence of Text-to-Image Models
  • 论文链接:https://arxiv.org/abs/2601.20354
  • 论文代码:https://github.com/AMAP-ML/SpatialGenEval

核心挑战:目前 T2I 模型空间认知 “浅表化” 与逻辑缺失

现有文生图模型虽然能够很好地完成 “生成什么”(What)的语义对齐,但在处理 “空间位置在哪里”(Where)、“空间如何排列”(How)以及物理世界中的 “空间交互逻辑”(Why)时,面临着从 “基础感知” 到 “高阶推理” 的全方位挑战,包括:

1. 空间基础的 “属性漂移” 与缺失:模型虽然能画出物体,但在信息密集提示词下,常出现物体漏画或属性绑定错误,无法维持 “万物各司其职” 的基础对齐能力。

2. 空间感知的 “几何偏见”:在处理物体精确位置、朝向及特定排列布局时,模型往往倾向于生成 “默认姿态”(如正面视图),难以跨越 2D 画布实现精准的空间定位。

3. 空间推理的 “逻辑盲区”:这是当前模型最大的短板。在涉及相对数值比较(如 “红椅比蓝椅大两倍”)、3D 遮挡关系及物理距离邻近性时,模型得分接近随机猜测,表明其缺乏对真实物理世界层级和深度的认知。

4. 空间交互的 “动态失真”:模型难以捕捉物体间的动态瞬间(如跳跃中的足球)或物理因果逻辑(如撞击导致的破碎),无法将潜藏的物理动力学转化为逻辑自洽的视觉图像。

上:当前生成模型在感知、推理和交互上的错误样例;下:当前评估基准存在信息稀疏 / 粗粒度 yes-or-no 评估

SpatialGenEval:涉及空间基础、感知、推理和交互的空间智能 “全科扫描”

为了系统化地定义和评估文生图模型 “空间智能” 能力,研究团队构建了一个层次化框架,将空间智能解构为 4 大领域及 10 个关键子维度:

1. 空间基础 (S1/S2):多目标物体类别(S1)、多目标属性绑定(S2)。

2. 空间感知 (S3/S4/S5):空间位置(S3)、空间朝向(S4)与空间布局(S5)。

3. 空间推理 (S6/S7/S8):空间大小 / 长度 / 高矮等比较(S6)、空间邻近性(S7)与空间位置遮挡(S8)。

4. 空间交互 (S9/S10):空间运动交互(S9)与空间因果交互(S10)。

该基准测试覆盖自然、室内、户外、人类活动及艺术设计等 25 个现实世界场景,为其精心构建了 1,230 条 长文本、信息密集型提示词。每个提示词均深度融合了上述从基础属性、布局到高阶遮挡、因果推理等 10 个空间子领域及对应全维度问答。值得注意的是,每个提示词长度约 60 词,允许同时兼顾依赖 CLIP 编码模型(77 tokens 限制)和保持高度信息密集。

SpatialGenEval 评估数据构建流程

SpatialGenEval 所有 10 个空间维度的提示词及其问题展示

核心发现:空间推理仍是主要瓶颈

研究团队对 23 款前沿的开源与闭源 T2I 模型进行了详尽评估,揭示了以下行业现状:

  • 空间推理是核心薄弱环节:在涉及比较和遮挡的空间推理子任务中,多数模型的得分仅在 30% 左右,接近随机猜测水平(20%),这表明目前的模型普遍缺乏对 3D 场景结构和逻辑关系的理解。
  • 开源模型正快速追赶:评测显示,最强的开源模型 Qwen-Image (60.6%) 表现已与顶级闭源模型 Seed Dream 4.0 (62.7%) 基本持平,但均仅达到及格线水平,空间智能仍有巨大提升空间。
  • 强大的文本编码器至关重要:使用高性能 LLM(如 T5 或大型语言模型)作为文本编码器的模型(如 FLUX.1),在解析复杂空间指令时显著优于仅依赖 CLIP 的模型。

基于 Qwen2.5-VL-72B-Instruct 的自动化评估结果

左:所有评估模型的错误类型分布;右:高优模型的错误类型分布

数据中心范式:提升模型空间智能的有效路径

除了评估,该研究还提出了一种基于已有生成图像的改进方案。团队通过多模态大模型(MLLM)重写提示词以确保图文一致性,构建了包含 15,400 对图文数据的 SpatialT2I 数据集。对主流三大类模型(Diffusion-based, AR-based,Unified-based 模型)进行监督微调结果在空间评估指标有显著增益,生成的图像在物理逻辑和空间布局上更具真实感。

微调模型后的生成结果对比

总结与展望

SpatialGenEval 为 T2I 模型从 “美学生成” 迈向 “逻辑感知” 建立了一条新的评估路线,只有让模型真正理解 “万物各得其所 (Everything in its place)”,生成式 AI 才能在机器人辅助、室内设计、自动驾驶仿真等对空间维度有严苛要求的领域中释放真正的生产力。

作者团队介绍

阿里高德的机器学习研发部,承接公司重点业务,包括本地生活场景中的广告创意、商品理解、内容智能创作和分发,出行场景的 AI 智能化等,部门研究领域广泛,包括但不限于以下方向:(1) 多模态大模型;(2) 图像生成 / 编辑美化;(3) 视频生成 / 理解;(4) Agent; (5) 时空数据挖掘;(6) 智能推荐;(7) 高性能推理等。团队技术氛围好,成长空间大,拥有充足的研发资源和大量的业务应用数据,多篇论文入选 paper digest 最有影响力论文名单。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
克林顿后悔!奥巴马后悔!拜登后悔!他们“后悔”对中国决策太天真

克林顿后悔!奥巴马后悔!拜登后悔!他们“后悔”对中国决策太天真

爱吃醋的猫咪
2026-09-08 20:54:04
官方出手!3位劣迹艺人复出失败,遭到全网抵制,个个不值得原谅

官方出手!3位劣迹艺人复出失败,遭到全网抵制,个个不值得原谅

观察鉴娱
2026-09-08 09:42:13
航母上禁止发生性关系,却免费发避孕物资,美军这套矛盾操作图什么

航母上禁止发生性关系,却免费发避孕物资,美军这套矛盾操作图什么

西楼知趣杂谈
2026-09-08 11:17:17
调回原籍省委书记岗,妻子当众扇我一耳光:跟你有啥出息!刚说完,儿子推门进来:爸,省长电话找你!

调回原籍省委书记岗,妻子当众扇我一耳光:跟你有啥出息!刚说完,儿子推门进来:爸,省长电话找你!

晓艾故事汇
2026-09-08 09:36:33
章泽天,空得吓人...

章泽天,空得吓人...

背包旅行
2026-09-08 14:33:32
中越刚在南海闹了不愉快,越南高层这次出国,专门去请强援回来?

中越刚在南海闹了不愉快,越南高层这次出国,专门去请强援回来?

铁锤侃侃而谈
2026-09-09 09:26:44
国米1‑2皇马,国米前锋劳塔罗与皇马球员发生冲突;劳塔罗:国米可以昂首离开!

国米1‑2皇马,国米前锋劳塔罗与皇马球员发生冲突;劳塔罗:国米可以昂首离开!

福酱的小时光
2026-09-09 13:31:31
63-84!世界杯首支亚洲队出局 8强已定5席 中国女篮利好 保送晋级

63-84!世界杯首支亚洲队出局 8强已定5席 中国女篮利好 保送晋级

侃球熊弟
2026-09-09 01:31:26
9月7日俄乌最新:莱曼大捷,包围圈变成了解放区

9月7日俄乌最新:莱曼大捷,包围圈变成了解放区

西楼饮月
2026-09-07 22:23:32
人民日报发声:机关事业单位的隐性收入,正在消失

人民日报发声:机关事业单位的隐性收入,正在消失

细说职场
2026-09-09 10:56:52
欧冠巅峰对决:门将超级失误送大礼 7.3亿豪门1-2开门黑 惨遭死敌5连斩

欧冠巅峰对决:门将超级失误送大礼 7.3亿豪门1-2开门黑 惨遭死敌5连斩

狍子歪解体坛
2026-09-09 05:18:01
快船现在对卡怀·伦纳德出卖他们感到愤怒!

快船现在对卡怀·伦纳德出卖他们感到愤怒!

夜白侃球
2026-09-09 13:47:26
“爸妈还觉得挺酷呢!”浪尾男孩上学引关注,身上毛病一大堆!

“爸妈还觉得挺酷呢!”浪尾男孩上学引关注,身上毛病一大堆!

林林先生
2026-09-09 07:20:03
“卤米松”原研药从30元涨到800元!厂家:原料供应商变更致断货,可更换其他药品

“卤米松”原研药从30元涨到800元!厂家:原料供应商变更致断货,可更换其他药品

红星资本局
2026-09-08 18:53:05
史玉柱恐成下一个许家印?更多猛料被扒,套现80亿仅是冰山一角?

史玉柱恐成下一个许家印?更多猛料被扒,套现80亿仅是冰山一角?

王嚾晓
2026-09-08 17:21:08
郭德纲为啥不道歉:通报里除了罚款,还有4个字让郭德纲不敢露面

郭德纲为啥不道歉:通报里除了罚款,还有4个字让郭德纲不敢露面

做一个合格的吃瓜群众
2026-09-08 18:08:32
日本漫画家第一人!富坚义博账号关注破390万:不发日常只报进度,粉丝却越等越上头

日本漫画家第一人!富坚义博账号关注破390万:不发日常只报进度,粉丝却越等越上头

国创漫话
2026-09-08 15:08:33
高琪已任公安部党委委员、反恐专员(副部长级)

高琪已任公安部党委委员、反恐专员(副部长级)

澎湃新闻
2026-09-09 12:30:26
内部员工曝光:别买中国轮胎?

内部员工曝光:别买中国轮胎?

新浪财经
2026-09-07 20:58:55
上海赛车事件持续发酵!网传工作人员打不开灭火器,扔下就跑,网友:60元一天的大爷,是真没能力打开灭火器,更别谈救人了

上海赛车事件持续发酵!网传工作人员打不开灭火器,扔下就跑,网友:60元一天的大爷,是真没能力打开灭火器,更别谈救人了

火山詩话
2026-09-08 08:42:24
2026-09-09 14:11:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
13951文章数 142731关注度
往期回顾 全部

科技要闻

AI重大突破!OpenAI称解开近百年数学难题

头条要闻

4岁男童被指摸臀 父亲发声:无法接受出具书面道歉要求

头条要闻

4岁男童被指摸臀 父亲发声:无法接受出具书面道歉要求

体育要闻

16年后再破门,被皇马放弃的少年没认输

娱乐要闻

郭麒麟最便宜贵公子争议,本人未回应

财经要闻

8月CPI同比涨0.8% PPI环比由降转涨

汽车要闻

坦克700申报信息曝光 长轴距版轴距增150mm/首搭6座

态度原创

艺术
游戏
时尚
房产
军事航空

艺术要闻

风景油画 | 捷克画家弗兰蒂谢克·卡万 (1866-1841)

《时之笛》三代同框!林克塞尔达德库树对比 变化太明

我要是这样翻盘一次,能吹一辈子

房产要闻

砸388亿+首个方案出炉!三亚,又一片区要起飞!

军事要闻

停止互袭首都3天后 俄乌猛烈交火

无障碍浏览 进入关怀版