网易首页 > 网易号 > 正文 申请入驻

复杂空间推理新SOTA,性能提升55%!中山大学新作SpatialDreamer

0
分享至

新智元报道

编辑:LRST

【新智元导读】中山大学等机构推出SpatialDreamer,通过主动心理想象和空间推理,显著提升了复杂空间任务的性能。模拟人类主动探索、想象和推理的过程,解决了现有模型在视角变换等任务中的局限,为人工智能的空间智能发展开辟了新路径。

尽管多模态大语言模型(MLLMs)在场景理解方面取得了显著进展,但在需要心理模拟的复杂空间推理任务上表现仍然有限。

现有方法多依赖于对空间数据的被动观察,缺乏人类在空间认知中特有的主动想象与动态更新内部表征的能力。

例如,在需要变换视角以判断遮挡物体位置的任务中,现有模型往往因视角单一而推理失败。

为此,来自MBZUAI与中山大学的研究团队提出了SpatialDreamer,一个基于强化学习的框架,旨在通过主动探索、视觉想象与证据融合的闭环过程,赋予MLLMs类人的空间心理模拟能力。

论文链接: https://arxiv.org/pdf/2512.07733

SpatialDreamer模拟人类的空间认知过程,构建了一个包含以下三个步骤的闭环推理流程:

1) 探索:模型根据当前场景推理出最优的自我中心动作(如「前进0.75米」或「左转45度」);

2) 想象:调用世界模型(如SVC)生成执行动作后的新视角图像;

3) 推理:整合所有累积的视觉证据,生成最终答案。

该过程使模型从「被动观察」转向「主动目标导向的想象」,实现了在内部三维环境中自主决定「去哪看、看什么、如何推理」。

为解决长序列推理任务中奖励稀疏的问题,研究团队提出了GeoPO,一种结合树状采样结构与几何一致性约束的策略优化方法:

1) 树状采样:每步采样多个动作分支,支持回溯与多路径探索;

2) 多级奖励设计:融合任务级奖励与步级奖励,提供细粒度反馈;

3) 几何惩罚机制:对冗余或冲突动作(如连续同向或反向移动)施加惩罚系数(如0.9),鼓励高效轨迹生成。

GeoPO在提升模型性能的同时,也显著加快了训练收敛速度。

为进一步引导模型学习「思考-想象-回答」的模式,构建了SpatialDreamer-SFT数据集包括单轮推理数据(single-pass) 以及反思式推理数据(reflective reasoning),其中反思式推理通过「错误注入 → 自我纠正 → 重建推理链」构建。

实验结果

研究团队在多个空间推理基准上验证了SpatialDreamer的有效性:

1) SAT:在真实与合成图像中均达到SOTA,平均准确率分别达93.9%与92.5%;

2) MindCube-Tiny:整体准确率84.9%,较基线Qwen2.5-VL-7B提升超过55%;

3) VSI-Bench:在物体计数、相对方向、路径规划等任务中全面领先,平均准确率62.2%

总结

迈向具备空间想象能力的通用智能

SpatialDreamer的意义不仅在于提升空间推理准确率,更关键的是:它证明MLLMs可以通过「想象力」增强推理能力,向人类般的空间智能迈出重要一步。

参考资料:

https://arxiv.org/pdf/2512.07733

秒追ASI

⭐点赞、转发、在看一键三连⭐

点亮星标,锁定新智元极速推送!

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
75岁老太旅游被骗买了一件佛陀木雕,4年后,她得了6套海景房

75岁老太旅游被骗买了一件佛陀木雕,4年后,她得了6套海景房

磊子讲史
2025-07-07 12:41:11
和中方谈完,卡尼对着美媒感慨,现在才知道什么叫“专业”

和中方谈完,卡尼对着美媒感慨,现在才知道什么叫“专业”

真的好爱你
2026-11-20 06:49:23
中美俄发布和平宣言, 里面有句公道话,是否对杜特尔特产生影响?

中美俄发布和平宣言, 里面有句公道话,是否对杜特尔特产生影响?

墨兰史书
2026-11-21 03:20:04
三方闭门会谈传秘件!俄提芬兰退北约,北约需退至1997年部署线

三方闭门会谈传秘件!俄提芬兰退北约,北约需退至1997年部署线

经纬戎韬
2026-11-21 02:55:37
1979年,翁美玲与男友罗柏前往威尼斯出游,1米58的她穿吊带裙与罗柏牵手漫步,镜头下甜蜜画面却藏着不为人知的结局

1979年,翁美玲与男友罗柏前往威尼斯出游,1米58的她穿吊带裙与罗柏牵手漫步,镜头下甜蜜画面却藏着不为人知的结局

磊子讲史
2026-11-04 15:53:33
现货黄金直线跳水,跌破760元!深圳水贝金店老板直呼“补早了”:870元至880元时补过一批货,没想到跌得更快

现货黄金直线跳水,跌破760元!深圳水贝金店老板直呼“补早了”:870元至880元时补过一批货,没想到跌得更快

封面新闻
2026-11-20 14:10:14
定义iPhone照片观感的高管走了,苹果相机软件暂无人接棒

定义iPhone照片观感的高管走了,苹果相机软件暂无人接棒

闪存猎手
2026-11-20 02:28:11
比亚迪发布折叠方向盘,10秒钟可边泊车边折叠

比亚迪发布折叠方向盘,10秒钟可边泊车边折叠

新京报
2026-11-19 22:46:06
奇迹之城!美媒惊呼:深圳的摩天大楼比纽约还多!

奇迹之城!美媒惊呼:深圳的摩天大楼比纽约还多!

52赫兹实验室
2026-11-20 14:35:51
满仓满融死扛存储的大佬,归零了!

满仓满融死扛存储的大佬,归零了!

大财可富司机
2026-11-20 13:55:47
马斯克的读书方法真好用,建议模仿,通过读书,你可以学会任何事

马斯克的读书方法真好用,建议模仿,通过读书,你可以学会任何事

阿胖读书
2025-10-26 22:36:11
场均7人得分上双,联盟第一!力压马刺和76人,44岁少帅成波波维奇接班人

场均7人得分上双,联盟第一!力压马刺和76人,44岁少帅成波波维奇接班人

麦子的篮球故事
2026-11-21 02:40:03
一家四口自驾遇落石36岁父亲被砸身亡,留下一对幼女,一审二审法院均判属地交通部门赔偿百余万元,死者家属:终审判决已过1个多月,暂未获赔

一家四口自驾遇落石36岁父亲被砸身亡,留下一对幼女,一审二审法院均判属地交通部门赔偿百余万元,死者家属:终审判决已过1个多月,暂未获赔

极目新闻
2026-11-20 15:34:45
特朗普致电“自愿联盟”,质疑欧洲向乌克兰提供援助,声称俄罗斯正考虑和平

特朗普致电“自愿联盟”,质疑欧洲向乌克兰提供援助,声称俄罗斯正考虑和平

山河路口
2026-11-20 13:27:18
450亿援乌贷款,还款条件写着“等俄罗斯赔钱”:四国当场掀桌,默茨翻脸了

450亿援乌贷款,还款条件写着“等俄罗斯赔钱”:四国当场掀桌,默茨翻脸了

浯江孤舟
2026-11-20 15:21:39
特朗普女婿库什纳:俄罗斯能够接受乌克兰获得安全保障,也表达了不再爆发新冲突的意愿,普京:克里米亚大桥遭袭后,不再讨论海上停火

特朗普女婿库什纳:俄罗斯能够接受乌克兰获得安全保障,也表达了不再爆发新冲突的意愿,普京:克里米亚大桥遭袭后,不再讨论海上停火

政知新媒体
2026-11-20 09:29:43
羽毛球世界冠军周昊东兴奋剂检测阳性:禁赛3年,教练禁赛1年半

羽毛球世界冠军周昊东兴奋剂检测阳性:禁赛3年,教练禁赛1年半

蓬勃新闻
2026-11-20 23:05:58
小心!欧洲被打服了,中东也不闹了,美国的目标只剩下东亚

小心!欧洲被打服了,中东也不闹了,美国的目标只剩下东亚

西府赵王爷
2025-03-22 15:47:18
3-0、2-0、2-0!U17世界杯第首日:亚洲队集体爆发 中国队爆冷?

3-0、2-0、2-0!U17世界杯第首日:亚洲队集体爆发 中国队爆冷?

大秦壁虎白话体育
2026-11-20 08:16:29
感谢利拉德!感谢太阳队!开拓者“白捡”顶级3D,他真比杨瀚森强多了

感谢利拉德!感谢太阳队!开拓者“白捡”顶级3D,他真比杨瀚森强多了

麦子的篮球故事
2026-11-21 01:55:03
2026-11-21 04:11:00
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16728文章数 67241关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

亲子
本地
手机
艺术
公开课

亲子要闻

宝宝气人但是聪明的4个行为

本地新闻

乌兰察布:以前种土豆,现在种Token

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版