网易首页 > 网易号 > 正文 申请入驻

上海交大团队让AI机器人拥有视觉预见力

0
分享至

这项由上海交通大学、上海人工智能实验室、南京邮电大学、复旦大学和博世公司联合开展的研究于2025年11月发表在计算机视觉领域顶级会议上,论文编号为arXiv:2511.16175v1。研究团队的核心成员包括杨毅、李学琦、陈一阳等多位来自不同机构的研究者,其中上海交大的邓志杰教授担任通讯作者。有兴趣深入了解的读者可以通过该论文编号查询完整研究内容。

想象一下,如果你的机器人助手在帮你收拾房间时,能够像经验丰富的管家一样提前"看到"下一步会发生什么——当它伸手去拿桌上的杯子时,它已经能预见到杯子被放到洗碗机里的画面。这种神奇的能力不再是科幻电影中的情节,上海交大的研究团队刚刚让这个想法变成了现实。

目前的机器人就像刚学会走路的孩子,它们只能看到眼前的东西,然后做出相应的动作。但问题在于,这种"走一步看一步"的方式让机器人的学习效率很低,就好比你试图通过只看一张张静态照片来学习如何骑自行车一样困难。研究团队发现,如果让机器人能够预见未来的画面,就像给它装上了"预言眼镜",它的学习能力会大幅提升。

然而,让机器人学会预测未来画面并不简单。传统的方法就像让一个人同时学习开车、做数学题和背诗词一样,各种任务混在一起反而效果不佳。而且,现有的机器人往往在学习动作技能后,就忘记了如何理解和执行复杂的语言指令,就像一个专注于技术活的工人可能会忽略与客户的沟通一样。

研究团队提出的解决方案叫做Mantis,这是一个具有"解耦视觉预见"能力的全新框架。解耦的意思就像把原本捆绑在一起的几根绳子分开处理,让每根绳子都能发挥最佳作用。Mantis的核心创新在于把"看未来"和"做动作"这两个任务巧妙地分离开来,同时保持它们之间的有效协作。

这个系统的工作原理颇为巧妙。Mantis使用了一种叫做"潜在动作查询"的技术,这些查询就像是机器人大脑中的"动作侦探",专门负责从当前画面和未来画面之间的变化中找出隐藏的动作信息。当机器人看到当前的场景时,这些"侦探"会自动捕捉到从现在到未来需要进行的关键动作,然后将这些信息传递给负责执行具体动作的模块。

更令人印象深刻的是,Mantis采用了一种渐进式的训练方法,就像教孩子学习一样,先从简单的开始,逐步增加难度。训练分为三个阶段:首先让机器人通过观看大量人类操作视频学会预测未来画面,这就像让孩子先看大人做事学习经验。然后引入真实的机器人操作数据,让它学会将预测能力与实际动作结合起来。最后加入语言理解训练,确保机器人在学会技能的同时不会忘记如何理解和执行人类的指令。

为了提高计算效率,研究团队还开发了一种叫做"自适应时序集成"的技术。这个技术就像一个智能的"节能开关",它会根据当前任务的复杂程度自动调整计算资源的使用。当机器人在进行精细操作时,比如抓取一个易碎的物品,系统会启用更多的计算资源来确保动作的稳定性。而在进行简单移动时,系统会自动降低计算强度,从而将推理计算量减少了50%,同时保持相同的任务成功率。

实验结果令人振奋。在广泛使用的LIBERO仿真测试平台上,Mantis达到了96.7%的成功率,超越了包括OpenVLA、π0等在内的多个先进系统。更重要的是,Mantis展现出了显著更快的学习速度,传统的视觉预测方法需要十几个训练周期才能达到的效果,Mantis在几个周期内就能实现。

在真实世界的测试中,研究团队设计了三个不同的场景来验证Mantis的能力。第一个场景测试机器人的世界知识,比如当你说"把杯子放到泰勒·斯威夫特身上"时,机器人需要知道泰勒·斯威夫特是谁,并在照片中找到她。第二个场景测试基础推理能力,比如"把熊放到数字(3+5)上",机器人需要计算出结果是8。第三个场景测试意图理解,比如当你说"我饿了,你能帮忙吗?"时,机器人需要理解你是想要食物,然后去拿面包。

测试结果显示,Mantis在所有三个场景中都明显优于当前领先的开源机器人模型π0.5。特别是在处理从未见过的指令时,Mantis表现出了强大的泛化能力,而π0.5几乎无法处理这些新颖的指令。这证明了语言监督训练对保持机器人理解和推理能力的重要性。

研究团队还深入分析了系统各个组件的贡献。他们发现,视觉预见模块的确能显著提升动作学习效果,而其中的残差连接设计(一种让信息能够"跳跃传递"的技术)对于捕捉潜在动作信息至关重要。更有趣的是,使用人类操作视频进行预训练比从零开始训练效果更好,这说明机器人可以从观察人类行为中学到有价值的操作模式。

当然,这项研究也有一些局限性。在真实世界的操作中,机器人偶尔会出现轻微的动作回退,这主要是因为系统缺少机器人自身状态信息的输入。研究团队表示,未来将致力于整合更丰富的输入信息,比如3D点云数据,并进一步优化推理速度。

这项研究的意义远不止于技术突破本身。它为机器人技术开辟了一条新的发展道路,证明了通过巧妙的系统设计,可以让机器人同时具备出色的操作技能和强大的语言理解能力。这种平衡对于未来机器人真正融入人类生活至关重要。

展望未来,具备视觉预见能力的机器人可能会彻底改变我们的日常生活。从家庭清洁到医疗护理,从工厂生产到服务行业,这些能够"看前想后"的智能助手将为人类提供更加精准、高效和贴心的服务。而Mantis作为这个领域的重要里程碑,为实现这个美好愿景迈出了坚实的一步。

Q&A

Q1:Mantis的核心技术优势是什么?

A:Mantis的核心优势在于"解耦视觉预见"技术,它巧妙地将"看未来"和"做动作"两个任务分离处理,同时保持有效协作。这就像把原本捆绑的绳子分开,让每项任务都能发挥最佳效果,从而大幅提升机器人的学习效率和操作精度。

Q2:Mantis相比其他机器人系统有什么实际表现优势?

A:Mantis在LIBERO测试中达到96.7%成功率,超越了OpenVLA、π0等先进系统。更重要的是学习速度显著提升,传统方法需要十几个训练周期的效果,Mantis几个周期就能实现。在真实场景测试中,特别是处理新指令时,Mantis表现远优于当前最好的开源模型π0.5。

Q3:Mantis如何平衡计算效率和性能?

A:Mantis采用"自适应时序集成"技术,像智能节能开关一样根据任务复杂度自动调整计算资源。精细操作时启用更多计算确保稳定性,简单移动时自动降低计算强度。这种设计将推理计算量减少50%,同时保持相同任务成功率,大大提升了实用性。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
一次性补缴10万元,每月领1433元,成都养老补缴爆了

一次性补缴10万元,每月领1433元,成都养老补缴爆了

数字财经智库
2026-11-20 09:36:50
甲亢哥52小时不睡通关GTA6 却触发最差结局崩溃落泪!

甲亢哥52小时不睡通关GTA6 却触发最差结局崩溃落泪!

游民星空
2026-11-21 11:07:36
江苏淮安一退休干部被实名举报利用职权帮助子女介入超千万地产生意!纪委回应:正在调查

江苏淮安一退休干部被实名举报利用职权帮助子女介入超千万地产生意!纪委回应:正在调查

指尖新闻沈阳晚报
2026-11-21 08:51:23
普通人挪用三千块要吃官司,湘雅二院医生拿着千万级科研经费,用虾滑冒充肿瘤,处理结果仅仅降级留任!

普通人挪用三千块要吃官司,湘雅二院医生拿着千万级科研经费,用虾滑冒充肿瘤,处理结果仅仅降级留任!

聊斋新志
2026-11-18 16:53:43
爆燃致5人遇难,郑州市调查组:建议不追究车主刑责

爆燃致5人遇难,郑州市调查组:建议不追究车主刑责

极目新闻
2026-11-21 14:32:12
希拉里发文炮轰特朗普:指责美总统“助纣为虐”,呼吁国会调查

希拉里发文炮轰特朗普:指责美总统“助纣为虐”,呼吁国会调查

麓谷隐士
2026-11-21 07:11:45
德州发布最新人事任免

德州发布最新人事任免

中国山东网
2026-11-21 12:52:14
金价连续跳水,记者走访北京菜百:有人一次买200克,现货售罄后消费者排队办理延期提货

金价连续跳水,记者走访北京菜百:有人一次买200克,现货售罄后消费者排队办理延期提货

大众网
2026-11-21 12:23:05
突发讣告!张劲松因病医治无效于2026年11月18日逝世,享年61岁

突发讣告!张劲松因病医治无效于2026年11月18日逝世,享年61岁

往史过眼云烟
2026-11-21 11:39:08
网红“东北雨姐”仍潇洒! 参加山东饭局,喝300多一瓶的汾酒,席间倒酒喝酒动作太豪横,一口闷

网红“东北雨姐”仍潇洒! 参加山东饭局,喝300多一瓶的汾酒,席间倒酒喝酒动作太豪横,一口闷

裕丰娱间说
2026-11-21 14:26:14
11月21日,大家期盼已久的2026退休养老金,究竟涨还是不涨?

11月21日,大家期盼已久的2026退休养老金,究竟涨还是不涨?

米果说识
2026-11-21 12:03:32
蔡天凤碎尸案又现重大转折:前夫供称父亲才是真凶!离婚后仍与蔡保持亲密关系......

蔡天凤碎尸案又现重大转折:前夫供称父亲才是真凶!离婚后仍与蔡保持亲密关系......

新民周刊
2026-11-21 13:15:56
特朗普点赞深圳,称美国一些城市“脏得让人恶心”

特朗普点赞深圳,称美国一些城市“脏得让人恶心”

极目新闻
2026-11-21 09:44:24
孙雯:这是近10年最有风格的国少队,几次高压下仍有自己想法

孙雯:这是近10年最有风格的国少队,几次高压下仍有自己想法

懂球帝
2026-11-21 12:36:03
辛鲍姆总统为什么坐民航客机来华,原因很简单,不是因为她接地气,而是因为墨西哥没有总统专机,总统专机已经卖给塔吉克斯坦。

辛鲍姆总统为什么坐民航客机来华,原因很简单,不是因为她接地气,而是因为墨西哥没有总统专机,总统专机已经卖给塔吉克斯坦。

回京历史梦
2026-11-21 09:30:43
特朗普:在深圳我观察很仔细,看了护栏、道路,路不但没坑洼,甚至都没修补痕迹,我们有些城市到处坑坑洼洼、锈迹斑斑,犯罪率高得离谱

特朗普:在深圳我观察很仔细,看了护栏、道路,路不但没坑洼,甚至都没修补痕迹,我们有些城市到处坑坑洼洼、锈迹斑斑,犯罪率高得离谱

政知新媒体
2026-11-21 10:17:31
红果短剧全面下架,彻底失控了

红果短剧全面下架,彻底失控了

李东阳朋友圈
2026-11-20 10:00:35
特朗普、李在明、黄循财、阿努廷、藤森庆子、辛鲍姆、阿尔巴尼斯、普拉博沃、马拉佩等多位外国领导人,均公开重申坚持一个中国原则的立场

特朗普、李在明、黄循财、阿努廷、藤森庆子、辛鲍姆、阿尔巴尼斯、普拉博沃、马拉佩等多位外国领导人,均公开重申坚持一个中国原则的立场

政知新媒体
2026-11-21 15:00:35
黄仁勋据称将创办新的半导体公司 或将筹资500亿美元用于创业

黄仁勋据称将创办新的半导体公司 或将筹资500亿美元用于创业

财联社
2026-11-20 16:09:05
A股:紧急提醒2.5亿股民!从后天11月23日起,A股可能再次历史重演?

A股:紧急提醒2.5亿股民!从后天11月23日起,A股可能再次历史重演?

趋势清风侠
2026-11-21 08:44:23
2026-11-21 16:16:49
科技行者 incentive-icons
科技行者
科技正在如何变革商业世界
10651文章数 573关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

特朗普亚洲行后举行记者会 为与普京的"朋友"关系辩护

头条要闻

特朗普亚洲行后举行记者会 为与普京的"朋友"关系辩护

体育要闻

伦德伯格撞墙的力度真不轻

娱乐要闻

虞书欣擦边自拍、霸凌同事、媒体点名?

财经要闻

走过三年牛市,黄金何去何从?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

艺术
手机
数码
健康
军事航空

艺术要闻

2026第七届民族美术作品展 油画选二

手机要闻

对标iPhone Duo!摩托罗拉首款阔折叠Razr Flex 2027渲染图出炉

数码要闻

高驰VERTIX 4运动手表曝光:1.47英寸AMOLED屏幕

医生眼里"很伤腰"的椅子,很多人天天坐

军事要闻

俄乌炸桥冲突升级 相关谈判设想被放弃

无障碍浏览 进入关怀版