网易首页 > 网易号 > 正文 申请入驻

复杂空间推理新SOTA,性能提升55%!中山大学新作SpatialDreamer

0
分享至

新智元报道

编辑:LRST

【新智元导读】中山大学等机构推出SpatialDreamer,通过主动心理想象和空间推理,显著提升了复杂空间任务的性能。模拟人类主动探索、想象和推理的过程,解决了现有模型在视角变换等任务中的局限,为人工智能的空间智能发展开辟了新路径。

尽管多模态大语言模型(MLLMs)在场景理解方面取得了显著进展,但在需要心理模拟的复杂空间推理任务上表现仍然有限。

现有方法多依赖于对空间数据的被动观察,缺乏人类在空间认知中特有的主动想象与动态更新内部表征的能力。

例如,在需要变换视角以判断遮挡物体位置的任务中,现有模型往往因视角单一而推理失败。

为此,来自MBZUAI与中山大学的研究团队提出了SpatialDreamer,一个基于强化学习的框架,旨在通过主动探索、视觉想象与证据融合的闭环过程,赋予MLLMs类人的空间心理模拟能力。

论文链接: https://arxiv.org/pdf/2512.07733

SpatialDreamer模拟人类的空间认知过程,构建了一个包含以下三个步骤的闭环推理流程:

1) 探索:模型根据当前场景推理出最优的自我中心动作(如「前进0.75米」或「左转45度」);

2) 想象:调用世界模型(如SVC)生成执行动作后的新视角图像;

3) 推理:整合所有累积的视觉证据,生成最终答案。

该过程使模型从「被动观察」转向「主动目标导向的想象」,实现了在内部三维环境中自主决定「去哪看、看什么、如何推理」。

为解决长序列推理任务中奖励稀疏的问题,研究团队提出了GeoPO,一种结合树状采样结构与几何一致性约束的策略优化方法:

1) 树状采样:每步采样多个动作分支,支持回溯与多路径探索;

2) 多级奖励设计:融合任务级奖励与步级奖励,提供细粒度反馈;

3) 几何惩罚机制:对冗余或冲突动作(如连续同向或反向移动)施加惩罚系数(如0.9),鼓励高效轨迹生成。

GeoPO在提升模型性能的同时,也显著加快了训练收敛速度。

为进一步引导模型学习「思考-想象-回答」的模式,构建了SpatialDreamer-SFT数据集包括单轮推理数据(single-pass) 以及反思式推理数据(reflective reasoning),其中反思式推理通过「错误注入 → 自我纠正 → 重建推理链」构建。

实验结果

研究团队在多个空间推理基准上验证了SpatialDreamer的有效性:

1) SAT:在真实与合成图像中均达到SOTA,平均准确率分别达93.9%与92.5%;

2) MindCube-Tiny:整体准确率84.9%,较基线Qwen2.5-VL-7B提升超过55%;

3) VSI-Bench:在物体计数、相对方向、路径规划等任务中全面领先,平均准确率62.2%

总结

迈向具备空间想象能力的通用智能

SpatialDreamer的意义不仅在于提升空间推理准确率,更关键的是:它证明MLLMs可以通过「想象力」增强推理能力,向人类般的空间智能迈出重要一步。

参考资料:

https://arxiv.org/pdf/2512.07733

秒追ASI

⭐点赞、转发、在看一键三连⭐

点亮星标,锁定新智元极速推送!

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
聚焦|不止于车:一汽-大众携手银联,重构车主权益边界

聚焦|不止于车:一汽-大众携手银联,重构车主权益边界

桑之未
2026-09-18 11:16:22
晚上7点半!CCTV5直播国足首秀,对手仅排亚洲第33位,邵佳一冲击主场首胜

晚上7点半!CCTV5直播国足首秀,对手仅排亚洲第33位,邵佳一冲击主场首胜

篮球圈里的那些事
2026-09-18 15:37:10
莱巴金娜退出比利-简-金杯:深圳是很棒的城市,我需要好好休养

莱巴金娜退出比利-简-金杯:深圳是很棒的城市,我需要好好休养

懂球帝
2026-09-18 18:39:17
自家菜地焚烧1平方米杂草要罚500元?当事人称要求出具处罚文书被执法人员拒绝;镇政府:正在核查

自家菜地焚烧1平方米杂草要罚500元?当事人称要求出具处罚文书被执法人员拒绝;镇政府:正在核查

大风新闻
2026-09-18 14:42:03
没有对比就没有差距,廖三宁和胡明轩、巅峰赵睿的后卫级别,根本不是一个档次

没有对比就没有差距,廖三宁和胡明轩、巅峰赵睿的后卫级别,根本不是一个档次

林子说事
2026-09-18 08:59:23
本届名古屋亚运会,日本这次带了一个极坏的头!韩国、菲律宾、印度等多国对其表达了强烈不满!

本届名古屋亚运会,日本这次带了一个极坏的头!韩国、菲律宾、印度等多国对其表达了强烈不满!

扶苏聊历史
2026-09-18 14:17:38
从能拍到能赚:爱奇艺交出AI长片第一份商业答卷

从能拍到能赚:爱奇艺交出AI长片第一份商业答卷

36氪
2026-09-16 18:54:23
拍出这张照片的人就是天才!网友:不得不佩服

拍出这张照片的人就是天才!网友:不得不佩服

摄影技巧入门教程
2026-09-18 16:18:32
日本人评价抗美援朝:中国如果不发兵,美国根本走不到鸭绿江边

日本人评价抗美援朝:中国如果不发兵,美国根本走不到鸭绿江边

磊子讲史
2026-09-18 17:03:50
娃哈哈被查封,震惊行业

娃哈哈被查封,震惊行业

李东阳朋友圈
2026-09-18 11:19:09
落后的篮球理念!中国男篮惨败日本,输球原因揭晓,特殊日子添堵

落后的篮球理念!中国男篮惨败日本,输球原因揭晓,特殊日子添堵

侃球熊弟
2026-09-18 18:41:57
泰国代表团拍摄亚运会自助餐,日本人太抠简直是“减脂儿童套餐”

泰国代表团拍摄亚运会自助餐,日本人太抠简直是“减脂儿童套餐”

三叔的装备空间
2026-09-17 23:53:31
这5个行业,工资都发不下来了!真的很严重了

这5个行业,工资都发不下来了!真的很严重了

职场资深秘书
2026-09-18 17:19:31
一家已经消失的手机品牌,做出了史上最好的安卓机

一家已经消失的手机品牌,做出了史上最好的安卓机

灰度测试中
2026-09-17 00:10:07
广东一男子称“儿女均非亲生,妻子婚内转移1400万元,还提起离婚诉讼要分割公司财产”;妻子:这些流水支出都是生活和工作的必要支出

广东一男子称“儿女均非亲生,妻子婚内转移1400万元,还提起离婚诉讼要分割公司财产”;妻子:这些流水支出都是生活和工作的必要支出

三湘都市报
2026-09-18 01:15:04
炸裂!女网红和男子开房,因动作太猛导致女网红腰部骨折,告上法庭索赔50万

炸裂!女网红和男子开房,因动作太猛导致女网红腰部骨折,告上法庭索赔50万

小徐讲八卦
2026-09-17 09:49:48
中央安全生产考核巡查组在浙江明查暗访:安全培训,岂能变成应付检查的“纸面安全”

中央安全生产考核巡查组在浙江明查暗访:安全培训,岂能变成应付检查的“纸面安全”

新京报
2026-09-18 08:43:12
泽连斯基已经向全世界亮明态度:乌克兰可以向俄罗斯投降,也可以放弃加入任何国际组织,但是唯独顿巴斯是坚决不会放弃!

泽连斯基已经向全世界亮明态度:乌克兰可以向俄罗斯投降,也可以放弃加入任何国际组织,但是唯独顿巴斯是坚决不会放弃!

扶苏聊历史
2026-09-18 18:02:45
二手翡翠市场,挤满了“割肉”的中产

二手翡翠市场,挤满了“割肉”的中产

刺猬公社
2026-09-17 07:36:31
手感不佳!中国男篮半场30-49落后日本19分,李弘权6分全队最高

手感不佳!中国男篮半场30-49落后日本19分,李弘权6分全队最高

全景体育V
2026-09-18 19:04:30
2026-09-18 21:00:50
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16218文章数 67075关注度
往期回顾 全部

科技要闻

直击iPhone 18新机发售:黄牛加价不如前代

头条要闻

外媒提问"中方领导人是否将访问美国" 外交部正面回应

头条要闻

外媒提问"中方领导人是否将访问美国" 外交部正面回应

体育要闻

一个角色球员,靠什么在NBA征战17年

娱乐要闻

陈思诚 佟丽娅不想让儿子知道两人离婚

财经要闻

研发0.25亿理财26亿,敷尔佳豪赌三类器械

汽车要闻

纯电/插混双动力+五座/六座双布局 海狮08应该怎么选?

态度原创

艺术
时尚
手机
公开课
军事航空

艺术要闻

文徵明5毫米小楷现身美国,写了三年才完成,这字用放大镜才能看清!

没想到这件事,对我的改变这么大!

手机要闻

从iPhone换到鸿蒙,数据、App、微信聊天记录怎么迁?一次说清

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

中方反对在安理会强推恢复对伊朗制裁

无障碍浏览 进入关怀版