网易首页 > 网易号 > 正文 申请入驻

Meta 发布 Multi-SpatialMLLM:多模态 AI 突破空间理解瓶颈

0
分享至

IT之家 5 月 29 日消息,科技媒体 marktechpost 昨日(5 月 28 日)发布博文,报道称 Meta 公司联合推出 Multi-SpatialMLLM 模型,整合深度感知、视觉对应和动态感知三大组件,突破单帧图像分析的局限。

多模态大语言模型(MLLMs)近年来在视觉任务处理上取得显著进展,但其作为独立数字实体的应用方式限制了实际影响力。

随着机器人和自动驾驶等领域的需求增长,MLLMs 需要具备复杂空间理解能力。然而,现有模型在基础空间推理任务中频频失误,例如无法准确区分左右。

过去的研究将问题归因于缺乏专门训练数据,并尝试通过单张图像的空间数据训练改进,但这种方法局限于静态视角分析,缺乏动态信息处理能力。

Meta 旗下的 FAIR 团队联合香港中文大学,为解决空间理解难题,推出 MultiSPA 数据集,涵盖超过 2700 万样本,涉及多样化的 3D 和 4D 场景。

该数据集结合了 Aria Digital Twin、Panoptic Studio 等高质量标注场景数据,并通过 GPT-4o 生成多样化任务模板。

研究还设计了五个训练任务,包括深度感知、相机移动感知和物体大小感知等,提升 Multi-SpatialMLLM 模型在多帧空间推理上的能力。

在 MultiSPA 基准测试中,Multi-SpatialMLLM 相比基础模型平均提升 36%,在定性任务上的准确率达到 80-90%,远超基础模型的 50%,甚至在预测相机移动向量等高难度任务上也取得 18% 的准确率。

在 BLINK 基准测试中,该模型准确率接近 90%,平均提升 26.4%,超越多个专有系统。此外,模型在标准视觉问答(VQA)测试中保持原有性能,显示出不依赖过度拟合空间推理任务的通用能力。

IT之家附上参考地址

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
46岁张静初独居北京,常年吃素像60,至今未婚的她不与父母同住

46岁张静初独居北京,常年吃素像60,至今未婚的她不与父母同住

君笙的拂兮
2026-11-20 06:27:58
又曝出轨大瓜,男子自曝妻子出轨班长5个月,班长只给他妻子买过情趣内衣,还曝光俩人大尺度聊天内容

又曝出轨大瓜,男子自曝妻子出轨班长5个月,班长只给他妻子买过情趣内衣,还曝光俩人大尺度聊天内容

汉史趣闻
2026-09-10 18:28:47
2026年11月21日:今日金价:大家做好心理准备,黄金将迎来大行情

2026年11月21日:今日金价:大家做好心理准备,黄金将迎来大行情

时尚的弄潮
2026-11-21 11:27:04
潘长江做梦都没想到,躲过了女儿,却没躲过外孙。他自己1米6,老婆1米65,生出的女儿潘阳1米62,谁知道,基因这东西,还会隔代报复。

潘长江做梦都没想到,躲过了女儿,却没躲过外孙。他自己1米6,老婆1米65,生出的女儿潘阳1米62,谁知道,基因这东西,还会隔代报复。

背包旅行
2026-11-19 01:22:04
随着辽宁险胜南京 广厦大胜上海玄鸟,CBA俱乐部杯1-8决赛对阵出炉

随着辽宁险胜南京 广厦大胜上海玄鸟,CBA俱乐部杯1-8决赛对阵出炉

领悟看世界
2026-11-22 00:16:43
24岁朝鲜姑娘上海当服务员,7年寄回30万,回家时父母却一贫如洗

24岁朝鲜姑娘上海当服务员,7年寄回30万,回家时父母却一贫如洗

历史八卦社
2025-05-24 22:15:50
波切蒂诺与曼联球员开会三小时!苦练备战利物浦,没空洗澡发布会都迟到

波切蒂诺与曼联球员开会三小时!苦练备战利物浦,没空洗澡发布会都迟到

罗米的曼联博客
2026-11-21 10:03:10
省委书记会场示意我离场,中央调令送达后,全场震惊我赴京城履新

省委书记会场示意我离场,中央调令送达后,全场震惊我赴京城履新

千秋文化
2026-09-26 20:24:16
杰森洗澡还要穿丁字裤?《GTA6》日版和谐被痛批

杰森洗澡还要穿丁字裤?《GTA6》日版和谐被痛批

3DM游戏
2026-11-19 22:06:30
女子借120万网贷不还,7家催债公司查到信息后面色大变:这地没法去

女子借120万网贷不还,7家催债公司查到信息后面色大变:这地没法去

罪案洞察者
2025-08-04 10:56:06
普林斯顿中国女博士机场被ICE带走!拘留原因曝光,律师发声

普林斯顿中国女博士机场被ICE带走!拘留原因曝光,律师发声

北美省钱快报
2026-11-22 01:04:40
没想到,APEC峰会结束仅1天,中国竟因三个“特产”在全球火出圈

没想到,APEC峰会结束仅1天,中国竟因三个“特产”在全球火出圈

麓谷隐士
2026-11-22 00:05:04
凶宅试睡员在上海一别墅中被吓死,警方调查傻眼:这不是被吓死的

凶宅试睡员在上海一别墅中被吓死,警方调查傻眼:这不是被吓死的

罪案洞察者
2025-06-12 13:45:25
“五十岁妈妈和闺蜜的聊天记录竟然如此肉麻?!”啊啊啊这就是友宝女老时候吗…

“五十岁妈妈和闺蜜的聊天记录竟然如此肉麻?!”啊啊啊这就是友宝女老时候吗…

浪花妈妈
2026-11-21 00:20:46
刘涛上峨眉山真给女人上一课!裹得只露一双眼睛,秦岚却迎风露脸

刘涛上峨眉山真给女人上一课!裹得只露一双眼睛,秦岚却迎风露脸

草莓解说体育
2026-11-21 03:24:42
大连英博发文告别斯坦丘:谢谢你,后会有期

大连英博发文告别斯坦丘:谢谢你,后会有期

半岛晨报
2026-11-21 19:02:09
脑梗来临,睡觉先知!睡觉时若出现了4个异常,或许脑梗已经驾临

脑梗来临,睡觉先知!睡觉时若出现了4个异常,或许脑梗已经驾临

熊猫医学社
2026-11-21 11:35:05
出轨女子第二波聊天记录曝光,虎狼之词惊呆吃瓜网友,她嫌丢人开始批量投诉了

出轨女子第二波聊天记录曝光,虎狼之词惊呆吃瓜网友,她嫌丢人开始批量投诉了

汉史趣闻
2026-09-01 17:55:01
不得了!日本做了一个极其恶劣的决定!

不得了!日本做了一个极其恶劣的决定!

故事终将光明磊落
2026-11-20 14:44:07
黄仁勋危险了!

黄仁勋危险了!

燕梳楼频道
2026-11-13 14:46:28
2026-11-22 02:27:00
IT之家
IT之家
爱科技,爱这里 - 前沿科技人气平台
380694文章数 607745关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

旅游
房产
数码
公开课
军事航空

旅游要闻

广西南宁:冬日繁花似锦

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

俄乌炸桥冲突升级 相关谈判设想被放弃

无障碍浏览 进入关怀版