网易首页 > 网易号 > 正文 申请入驻

Meta 发布 Multi-SpatialMLLM:多模态 AI 突破空间理解瓶颈

0
分享至

IT之家 5 月 29 日消息,科技媒体 marktechpost 昨日(5 月 28 日)发布博文,报道称 Meta 公司联合推出 Multi-SpatialMLLM 模型,整合深度感知、视觉对应和动态感知三大组件,突破单帧图像分析的局限。

多模态大语言模型(MLLMs)近年来在视觉任务处理上取得显著进展,但其作为独立数字实体的应用方式限制了实际影响力。

随着机器人和自动驾驶等领域的需求增长,MLLMs 需要具备复杂空间理解能力。然而,现有模型在基础空间推理任务中频频失误,例如无法准确区分左右。

过去的研究将问题归因于缺乏专门训练数据,并尝试通过单张图像的空间数据训练改进,但这种方法局限于静态视角分析,缺乏动态信息处理能力。

Meta 旗下的 FAIR 团队联合香港中文大学,为解决空间理解难题,推出 MultiSPA 数据集,涵盖超过 2700 万样本,涉及多样化的 3D 和 4D 场景。

该数据集结合了 Aria Digital Twin、Panoptic Studio 等高质量标注场景数据,并通过 GPT-4o 生成多样化任务模板。

研究还设计了五个训练任务,包括深度感知、相机移动感知和物体大小感知等,提升 Multi-SpatialMLLM 模型在多帧空间推理上的能力。

在 MultiSPA 基准测试中,Multi-SpatialMLLM 相比基础模型平均提升 36%,在定性任务上的准确率达到 80-90%,远超基础模型的 50%,甚至在预测相机移动向量等高难度任务上也取得 18% 的准确率。

在 BLINK 基准测试中,该模型准确率接近 90%,平均提升 26.4%,超越多个专有系统。此外,模型在标准视觉问答(VQA)测试中保持原有性能,显示出不依赖过度拟合空间推理任务的通用能力。

IT之家附上参考地址

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
多家品牌宣布下调金饰克价,网友:加工费占金价一半,简直是暴利

多家品牌宣布下调金饰克价,网友:加工费占金价一半,简直是暴利

东方豪侠
2026-11-22 08:11:25
选战倒数!宋楚瑜罕见表态 吁不分党派挺童子玮

选战倒数!宋楚瑜罕见表态 吁不分党派挺童子玮

金牛传声
2026-11-21 15:18:45
四川小伙用竹子“手搓”自行车,售价八千元起步,NBA球星都来定制,已卖到19个国家和地区,每年出货几百台

四川小伙用竹子“手搓”自行车,售价八千元起步,NBA球星都来定制,已卖到19个国家和地区,每年出货几百台

台州交通广播
2026-11-21 10:23:13
GTA6前期海岛生活太悠闲 不想去监狱接老婆了

GTA6前期海岛生活太悠闲 不想去监狱接老婆了

游民星空
2026-11-21 17:16:31
广东男篮速递!主教练贝罗卡尔离队,弗格杯赛不上原因出炉,陈老板做出最新决定

广东男篮速递!主教练贝罗卡尔离队,弗格杯赛不上原因出炉,陈老板做出最新决定

凯丰侃球
2026-11-22 00:05:53
完了完了!勇士重磅引援是他!这赛季没戏了!

完了完了!勇士重磅引援是他!这赛季没戏了!

柚子说球
2026-11-21 20:15:57
12张二手英伟达V100:律师自建AI集群跑DeepSeek,最高每秒184个词元

12张二手英伟达V100:律师自建AI集群跑DeepSeek,最高每秒184个词元

新浪财经
2026-11-21 13:27:58
人社部财政部定调养老金调整新方案!

人社部财政部定调养老金调整新方案!

逍遥论经
2026-11-22 09:12:34
中国是否应考虑聘任黄仁勋?回国助力发展国产芯片 作用有多大?

中国是否应考虑聘任黄仁勋?回国助力发展国产芯片 作用有多大?

乌克兰小静
2026-11-22 10:46:18
没想到,APEC峰会结束仅1天,中国竟因三个“特产”在全球火出圈

没想到,APEC峰会结束仅1天,中国竟因三个“特产”在全球火出圈

云上乌托邦
2026-11-21 00:20:04
美国人评价中国深圳:环境很好,街道干净,不过一点比不上美国!

美国人评价中国深圳:环境很好,街道干净,不过一点比不上美国!

扶苏聊历史
2026-11-19 11:35:42
伊朗称击中两部美军爱国者雷达 特朗普:将寻求与伊朗达成永久协议

伊朗称击中两部美军爱国者雷达 特朗普:将寻求与伊朗达成永久协议

凤凰卫视
2026-11-22 11:04:10
金建希实刑判决生效

金建希实刑判决生效

陆弃
2026-11-21 10:26:03
江西一新娘临时加8万彩礼,新郎扭头就去取钱,新娘到娘家后慌了

江西一新娘临时加8万彩礼,新郎扭头就去取钱,新娘到娘家后慌了

涛哥讲堂
2025-01-10 14:13:19
江南华南降水发展 新一股冷空气明起携大风降温来袭

江南华南降水发展 新一股冷空气明起携大风降温来袭

环球网资讯
2026-11-22 10:21:06
天冷,也阻挡不了我穿丝袜的热情

天冷,也阻挡不了我穿丝袜的热情

疾跑的小蜗牛
2026-11-21 20:44:46
我在公司10年拿15个项目,年会没我名,老板找续约我出对手公司合同

我在公司10年拿15个项目,年会没我名,老板找续约我出对手公司合同

麦子情感故事
2026-11-21 20:59:17
韩国涉嫌作弊满分考生遗书公开:这几天身心俱疲,什么都做不了,本想死在想去的地方,但最后还是想一个人死;尸检结果显示未发现他杀迹象

韩国涉嫌作弊满分考生遗书公开:这几天身心俱疲,什么都做不了,本想死在想去的地方,但最后还是想一个人死;尸检结果显示未发现他杀迹象

蓬勃新闻
2026-11-21 21:06:21
英超官方:球已经在莱诺双手之间控制之中,故哈兰德进球无效

英超官方:球已经在莱诺双手之间控制之中,故哈兰德进球无效

懂球帝
2026-11-21 21:35:16
我卖掉北京房子住进儿子家,儿媳以为我睡着,跟儿子说:500万到账了

我卖掉北京房子住进儿子家,儿媳以为我睡着,跟儿子说:500万到账了

麦子情感故事
2026-11-22 10:35:40
2026-11-22 12:03:00
IT之家
IT之家
爱科技,爱这里 - 前沿科技人气平台
380722文章数 607744关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

健康
数码
游戏
公开课
军事航空

医生眼里"很伤腰"的椅子,很多人天天坐

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

PC Gamer试玩GTA6百小时:双主角出色但任务重复

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

俄乌炸桥冲突升级 相关谈判设想被放弃

无障碍浏览 进入关怀版