网易首页 > 网易号 > 正文 申请入驻

谷歌深夜大招!机器人学会看仪表盘干活,成功率飙升300%

0
分享至

来源:市场资讯

(来源:智东西)


机器人前瞻(公众号:robot_pro)

作者 许丽思

编辑 漠影

智东西4月15日报道,昨天深夜,谷歌推出Gemini Robotics-ER 1.6。

去年9月,谷歌发布Gemini Robotics-ER 1.5。时隔半年多,谷歌机器人模型终于迎来一次大升级。

Gemini Robotics-ER 1.6能够让机器人以前所未有的精度理解周围环境,在多项关键推理能力上进行了升级,包括视觉与空间理解、任务规划以及任务完成判断。它可以作为机器人的高层推理模型,原生调用Google Search、VLA以及其他第三方自定义功能,自主完成复杂作业任务。

谷歌提到,与Gemini Robotics-ER 1.5和Gemini 3.0 Flash相比,Gemini Robotics-ER 1.6在空间与物理推理能力上都有明显提升,尤其是在点位定位、计数和任务成功判断等方面。

与此同时,Gemini Robotics-ER 1.6还新增了一项能力——仪表读数,这使机器人能够读取复杂的压力表和液位观察窗等设备。该功能是谷歌与波士顿动力合作开发的,特别适合用于高精度工业任务。

如图,在指向与计数任务上,Gemini Robotics-ER 1.6的成功率为80%;在单视角成功检测任务中,其成功率为90%;在多视角成功检测任务中,其成功率为84%;在结合Agentic Vision的仪表读数任务中,其成功率达到93%,相比Gemini Robotics-ER 1.523%的成功率,飙升了300%。


即日起,开发者就可以通过Gemini API和Google AI Studio使用Gemini Robotics-ER 1.6。

一、升级点位定位和多视角推理能力,提升机器人干活自主性

点位定位是具身推理模型的一项基础能力,可以让模型实现不同类型的推理任务,包括空间推理、关系逻辑、运动推理、约束理解等。

Gemini Robotics-ER 1.6可以把点位作为中间推理步骤,来完成更复杂的任务。它可以先通过点位来计数图像中的物体,或者通过识别关键位置,再结合数学计算提高尺寸或距离估算的准确性。

如图,Gemini Robotics-ER 1.6知道什么时候该指出目标、什么时候不该乱指。它能正确识别图中有2把锤子、1把剪刀、1把油漆刷、6把钳子,以及一组园艺工具。对于图中并不存在的手推车和电钻,它也不会错误标注。

相比之下,Gemini Robotics-ER 1.5就没法正确识别锤子和油漆刷的数量,完全漏掉了剪刀,还会产生幻觉,指出了并不存在的手推车,钳子的定位精度也较差。

Gemini 3.0 Flash的表现已经比较接近Gemini Robotics-ER 1.6,但在钳子的处理上还不够理想。


Gemini Robotics-ER 1.6还提升了多视角推理能力,能够更好地理解多路摄像头画面以及它们之间的关系,即便在动态变化或存在遮挡的环境中,也能保持较高的判断能力。

Gemini Robotics-ER 1.6可以综合多个摄像头视角的信息,判断“把蓝色笔放进黑色笔筒”这一任务是否已经完成。

像这样的任务成功判断(Success Detection)是机器人实现自主性的关键一环,因为它决定了机器人在执行任务过程中,是应该重新尝试一次,还是可以进入下一步。

二、仪表识别成功率达93%,机器人可执行设备巡检任务

工业厂区遍布温度计、压力表、化学液位观测窗等各类精密仪器,需要长期持续监测。想要解决真实工业场景中这些复杂难题,就必须让机器人学会仪器读数识别。

Gemini Robotics-ER 1.6让机器人能够读懂多种仪表,包括圆形压力表、垂直液位计以及现代数字读数设备。

读取仪表并不是简单的识别任务,而是一个复杂的视觉推理过程。系统必须精确感知多种视觉元素,例如指针、液位、容器边界、刻度线等,并理解它们之间的关系。

以液位观察窗为例,模型需要结合相机拍摄角度带来的畸变,估算液体实际填充了多少。对于压力表,系统还需要读取并理解文字标注的单位;有些表盘甚至有多根指针,对应不同的小数位,必须综合后才能得出正确读数。

依托仪器读数识别与升级后的任务推理能力,波士顿动力的Spot四足机器人可以实现全自主巡检,独立感知、理解并应对各类工业实景挑战。


Gemini Robotics-ER 1.6之所以能够实现高精度仪表读数,是因为它使用了Agentic Vision技术,也就是把视觉推理与代码执行结合起来。

具体来说,模型会先采取一系列中间步骤:比如先放大图像,更清楚地观察仪表细节;再通过点位标注和代码执行估算比例与区间,最终得到精确读数,并结合世界知识理解其含义。


在仪表读数任务上,四种模型的成功率依次提升:Gemini Robotics-ER 1.5成功率为23%;Gemini 3.0 Flash成功率为67%;Gemini Robotics-ER 1.6成功率为86%;Gemini Robotics-ER 1.6(启用 agentic vision)成功率为93%。


结语:机器人走入现实应用,还需要具备足够安全性

在机器人规模化落地民用与工业场景的当下,安全性早已和智能化、自主性同等重要,成为制约具身智能落地的核心门槛。

谷歌称,Gemini Robotics-ER 1.6不仅在环境感知、空间推理、工业仪表识别等核心能力全面进阶,更完成了安全能力的系统性升级,也是其目前安全表现最优的机器人专用模型。

在对抗性空间推理任务中,Gemini Robotics-ER 1.6对Gemini安全策略的遵守程度优于此前所有版本。同时,Gemini Robotics-ER 1.6在遵守物理安全约束方面也有明显提升。

比如,在涉及点位输出的任务中,它能更安全地判断哪些物体可以被机械夹爪抓取,哪些不能碰,从而满足夹持器限制或材料约束,比如“不要处理液体”“不要抓取超过20公斤的物体”等。

谷歌还测试了模型在文本和视频场景中识别安全隐患的能力,测试依据来自真实世界的伤害事故报告。在这些任务中,Gemini Robotics-ER 1.6相比Gemini 3.0 Flash也有所提升:文本场景提升6%,视频场景提升10%,说明它在识别潜在伤害风险方面更加准确。


对具身智能而言,真正决定机器人能否走出实验室、走进大规模真实场景的,除了更强的大脑,还需要每一次感知、判断与动作背后,都足够安全可靠。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
起猛了!东北机器人上岗劝阻挖婆婆丁 连说带演 自带搞笑基因 结尾那一下是没想到啊!

起猛了!东北机器人上岗劝阻挖婆婆丁 连说带演 自带搞笑基因 结尾那一下是没想到啊!

闪电新闻
2026-04-24 16:57:42
一着不慎满盘皆输!肖国栋2-7落后墨菲,上届亚军追平4强专业户!

一着不慎满盘皆输!肖国栋2-7落后墨菲,上届亚军追平4强专业户!

刘姚尧的文字城堡
2026-04-24 17:50:04
大疆创始人汪滔消失十年,如今露面爆内情,大疆年赚800亿太亮眼

大疆创始人汪滔消失十年,如今露面爆内情,大疆年赚800亿太亮眼

梦录的西方史话
2026-04-24 14:27:18
全国人大常委会法工委:社会救助法草案将三审,拟将“流浪乞讨人员”表述修改为“流散人员”

全国人大常委会法工委:社会救助法草案将三审,拟将“流浪乞讨人员”表述修改为“流散人员”

红星新闻
2026-04-24 10:54:10
苏联评衔时,元帅、大将、上将分别有多少人?

苏联评衔时,元帅、大将、上将分别有多少人?

孔孔说体育
2026-04-24 11:15:11
女生主动起来有多黏人?网友:这些女的太开放了

女生主动起来有多黏人?网友:这些女的太开放了

带你感受人间冷暖
2026-01-27 00:20:06
天空体育预测英超34轮:阿森纳1-0,曼联2-1,利物浦2-1,热刺1-2

天空体育预测英超34轮:阿森纳1-0,曼联2-1,利物浦2-1,热刺1-2

郝小小看体育
2026-04-24 15:37:55
果然不出所料,国民党主席郑丽文表态了!

果然不出所料,国民党主席郑丽文表态了!

达文西看世界
2026-04-24 16:08:18
鸿蒙智行发布会现车辆滞留争议 官方呼吁勿过度解读

鸿蒙智行发布会现车辆滞留争议 官方呼吁勿过度解读

新浪财经
2026-04-23 22:09:12
这跟不穿有啥区别?好莱坞女星走纽约红毯,穿衣个个大胆,太前卫

这跟不穿有啥区别?好莱坞女星走纽约红毯,穿衣个个大胆,太前卫

法老不说教
2026-04-23 19:09:50
阿瑙托维奇:因疫情在中国隔离至抑郁,最终选择重返欧洲

阿瑙托维奇:因疫情在中国隔离至抑郁,最终选择重返欧洲

懂球帝
2026-04-23 08:32:10
特权60天期限将至,特朗普必须撤回美军?是战是和只剩7天决定!

特权60天期限将至,特朗普必须撤回美军?是战是和只剩7天决定!

薛小荣
2026-04-23 17:21:37
郭冬临现状:住北京老房子,身形消瘦、脸颊凹陷,59岁无儿无女

郭冬临现状:住北京老房子,身形消瘦、脸颊凹陷,59岁无儿无女

娱说瑜悦
2026-04-23 16:04:39
1979年打越南,高层其实吵翻了天?叶剑英粟裕为何反对出兵?

1979年打越南,高层其实吵翻了天?叶剑英粟裕为何反对出兵?

老谢谈史
2026-04-22 19:19:56
曾高喊打败美帝:如今却全家跑去美国,84岁活成这样,引人热议!

曾高喊打败美帝:如今却全家跑去美国,84岁活成这样,引人热议!

小莜读史
2026-04-20 22:58:35
触目惊心!央视曝光上海一中医馆:从医生到病人全是演员!

触目惊心!央视曝光上海一中医馆:从医生到病人全是演员!

番外行
2026-04-24 08:59:12
老兵借厕所被拒后续!官方公布处理结果,保安被开除,老兵回应

老兵借厕所被拒后续!官方公布处理结果,保安被开除,老兵回应

180视角
2026-04-22 01:03:20
树倒猢狲散!武亮直播哭红眼眶,20余天的人事动荡,让他心力憔悴

树倒猢狲散!武亮直播哭红眼眶,20余天的人事动荡,让他心力憔悴

火山詩话
2026-04-20 06:31:57
美国对台军售捅马蜂窝!中国反手大举卖武器,反美国家抢疯了!

美国对台军售捅马蜂窝!中国反手大举卖武器,反美国家抢疯了!

荆楚寰宇文枢
2026-04-19 23:38:57
炸穿台湾政坛!蒋友松强行迁走两蒋悬棺,半世纪漂泊终要归乡

炸穿台湾政坛!蒋友松强行迁走两蒋悬棺,半世纪漂泊终要归乡

陈漎侃故事
2026-04-14 17:28:18
2026-04-24 20:19:00
新浪财经 incentive-icons
新浪财经
新浪财经是一家创建于1999年8月的财经平台
3002220文章数 6910关注度
往期回顾 全部

科技要闻

DeepSeek V4牵手华为,价格依然"屠夫级"

头条要闻

参与英国研究的50万名患者信息在中国售卖 外交部回应

头条要闻

参与英国研究的50万名患者信息在中国售卖 外交部回应

体育要闻

里程碑之战拖后腿,哈登18分8失误

娱乐要闻

停工16个月!赵露思证实接拍新剧

财经要闻

LG财阀内斗:百亿美元商业帝国争夺战

汽车要闻

零跑Lafa5 Ultra北京车展上市:11.88-12.48万

态度原创

时尚
本地
亲子
房产
数码

水晶专场 || 一眼就沦陷的绝美水晶,百元级的快乐

本地新闻

云游中国|逛世界风筝都 留学生探秘中国传统文化

亲子要闻

为了让孩子少看电视,给他安排了这个点珠贴画,锻炼孩子动手能力和专注力#益智玩具 #亲子手工 #手工d...

房产要闻

重磅新政!海口限价商品房:满5年可上市 缴15%土地溢价!

数码要闻

浩鑫推出新款迷你准系统,可装酷睿Ultra和独显

无障碍浏览 进入关怀版