网易首页 > 网易号 > 正文 申请入驻

教机器人读懂说明书、操作微波炉,北大、启元、京东联手打造“模拟考场”

0
分享至


对家庭服务机器人来说,家电操作是最具挑战性的应用场景。相比于操控常规桌面物体,家电设备涉及按钮、旋钮、舱门等多元异构部件,还要应对模式切换、状态约束、内置程序等多重管控。机器人要顺利完成一次完整的家电作业,不仅要精准识别设备的外观结构,还需读懂操作说明,严格遵循流程规范执行动作。因此,依托说明书进行智能操作规划,已成为具身智能适配居家环境的一项核心能力。

近日,北京大学科研团队联合上纬启元研究院和京东,在国际顶级计算机视觉会议CVPR 2026推出RealAppliance数据集及配套RealAppliance-Bench评测基准,聚焦说明书驱动下的家电智能操作规划难题,以高保真仿真体系破解家庭服务机器人实操评测痛点,推动具身智能加速落地真实居家场景。

基于说明书的家电操作规划,最难在真实环境中被系统评测。微波炉、烤箱等家电设备一旦发生误操作,轻则损坏设备,重则带来现实安全风险;同时家用电器品类繁杂、购置与维护成本偏高,难以开展大规模、标准化、可复现的实体实验。现存仿真资源也存在明显短板,设备外形、部件功能、运行程序与真实产品偏差较大,无法满足说明书驱动型操作规划的测评需求。

针对上述瓶颈,北京大学长聘副教授、上纬启元首席科学家董豪团队完成了本次RealAppliance系列成果研发。此前,该团队已在CVPR 2025上首次提出基于说明书的家电操作研究方向;本次研究将测评维度从单一手册理解,拓展为说明书文本、设备外观形态、交互操控功能、程序运行状态一体化的完整操作系统。


RealAppliance数据集概览,包含100个高保真家电资产,覆盖14个类别,并为每个资产配套真实说明书。

RealAppliance数据集囊括100款高精度家电数字模型,覆盖14类日常家用电器,从真实说明书、外观构造、交互方式、程序逻辑四大维度,全方位复刻实体家电运行特征。数据集收录中、俄、法、德等多语种设备手册,每一款数字资产均匹配原版使用说明,尺寸参数、部件功能、状态切换规则均与实物保持一致,可为智能算法测试提供可复用、可拓展的仿真实验载体。


传统数据集普遍缺乏手册对齐与程序逻辑,而RealAppliance实现了说明书、资产与交互逻辑的系统对齐。

与传统仅还原运动结构的仿真数据集不同,RealAppliance更强调“说明书-资产-程序逻辑”的联动体系,不仅还原家电外观样貌,还可模拟操作顺序、状态限制、反馈纠错全流程,为家电操作智能化研究搭建标准化评估框架。

在数字资产搭建过程中,团队广泛搜集海内外家电实物照片与原版说明书,依据“可机械操作、文本适配模型处理、步骤描述清晰、数据信息完备”四项准则筛选样本。借助专业建模软件复刻家电外观,拆分独立功能部件,精细打磨纹理、色彩与标识细节,导入仿真平台生成标准数字模型,并按运动形式分类配置关节结构。

同时,团队搭建物理与电子两大模块化交互机制,涵盖弹簧复位、磁吸闭合、屏幕显示、电机运转等10类运行模式,使仿真家电具备真实操作反馈与状态变化能力。最后对照原版说明书编写运行脚本,设定温度、时长、工作模式等核心参数,完整还原家电开机、运行、启停联动整套工作流程。


RealAppliance资产构建流程:收集手册与照片、完成高保真建模、配置交互机制,并依据说明书设计程序逻辑。

依托数据集打造的RealAppliance-Bench评测基准,围绕家电实操全流程,设置手册页面检索、开环操作规划、电器部件定位、闭环规划调整、全过程推理五大递进式测试任务,全面考核智能模型文档解析、动作规划、空间识别、故障修正、端到端作业等核心素养,精准衡量算法在家电实操场景的综合性能。

团队选取多款主流多模态大模型、具身规划模型开展系统性测评,测试结果暴露出当前智能算法的能力短板。各类模型在单一细分任务中各有所长,但面对贴合真实场景的说明书驱动家电操作任务时,整体性能距离落地应用仍有较大差距。检索任务中,具身模型文本理解能力偏弱;动作规划普遍存在步骤缺失、动作误用问题,未能吃透设备运行逻辑;部件空间定位精准度偏低,跨模态信息匹配难度突出;面对突发工况,模型难以快速调整作业方案;全流程连贯作业测试中,所有模型均未能实现成功通关,多环节误差叠加,凸显现有算法居家实操稳定性严重不足。


RealAppliance-Bench的五个任务:手册检索、开环规划、部件定位、闭环调整与全过程推理。

未来,该数据集与评测平台将持续承担标准化测评职能,助力科研人员迭代优化家电操控算法,深挖智能操作策略研发方向。随着仿真体系不断完善迭代,将为家庭服务机器人突破家电操作难关、规模化走进千家万户筑牢技术根基。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
一战封神的“海康三剑客”,要IPO了

一战封神的“海康三剑客”,要IPO了

投资家
2026-11-18 22:03:48
俄已解除禁杀令,允许暗杀泽连斯基?特朗普坦言:普京已经让步了

俄已解除禁杀令,允许暗杀泽连斯基?特朗普坦言:普京已经让步了

国际法大视野
2026-11-17 15:18:04
WTT香港总决赛名单刚公布,难堪一幕发生,樊振东当初的话没说错

WTT香港总决赛名单刚公布,难堪一幕发生,樊振东当初的话没说错

小小小白看世界
2026-11-18 20:45:27
为啥某多多的商品很便宜?网友:做电商的都知道,其实货都是一样的

为啥某多多的商品很便宜?网友:做电商的都知道,其实货都是一样的

带你感受人间冷暖
2026-11-16 10:34:09
有没有肠息肉,吃饭知道?医生:肠道有息肉的人,吃饭常有5异常

有没有肠息肉,吃饭知道?医生:肠道有息肉的人,吃饭常有5异常

芹姐说生活
2026-07-07 23:44:51
在重庆人眼中,华西医学院是什么地位?

在重庆人眼中,华西医学院是什么地位?

健身狂人
2026-11-16 15:46:12
大家今年都“穷”到什么程度了?网友评论区堪比大型“比惨”现场

大家今年都“穷”到什么程度了?网友评论区堪比大型“比惨”现场

夜深爱杂谈
2026-10-20 20:22:43
实锤了!香港“钻石王老五”古天乐秘婚!

实锤了!香港“钻石王老五”古天乐秘婚!

港港地
2026-11-17 10:06:37
都说航母是名副其实的吞金兽,到底夸张到什么地步?拿山东舰的日常伙食举例:每天光猪肉就得备上约 24 头,三千多名官兵一天要开 7 顿饭

都说航母是名副其实的吞金兽,到底夸张到什么地步?拿山东舰的日常伙食举例:每天光猪肉就得备上约 24 头,三千多名官兵一天要开 7 顿饭

扶苏聊历史
2026-11-04 11:02:53
日本政府做梦都没想到!俄方这轮不争岛了,直接询问日本认不认账

日本政府做梦都没想到!俄方这轮不争岛了,直接询问日本认不认账

顾史
2026-08-26 08:35:45
前R星开发者:特雷弗牛仔裤上的血迹,我打赌没人发现

前R星开发者:特雷弗牛仔裤上的血迹,我打赌没人发现

晚星归航2
2026-11-17 23:24:17
上层作孽,害死好人

上层作孽,害死好人

我是历史其实挺有趣
2025-08-02 08:59:00
自取其辱!高市早苗摇头晃脑,抛媚眼后丑态百出,马科斯无动于衷

自取其辱!高市早苗摇头晃脑,抛媚眼后丑态百出,马科斯无动于衷

花颜蕴韵
2026-11-18 19:56:56
苹果自家App Store终于适配iPhone Duo,铰链屏裂事件又有新进展

苹果自家App Store终于适配iPhone Duo,铰链屏裂事件又有新进展

科技兽
2026-11-18 22:34:05
全民拒接陌生电话,运营商、快递员、疾控中心为此付了多少成本?

全民拒接陌生电话,运营商、快递员、疾控中心为此付了多少成本?

小鹿姐姐情感说
2026-11-18 03:24:23
这是男子品尝水果前的最后一个微笑,几秒后便痛不欲生

这是男子品尝水果前的最后一个微笑,几秒后便痛不欲生

万物杂志
2026-11-17 07:08:13
时间定了,中方宣布安排,11月19日这一天,全世界都将拭目以待

时间定了,中方宣布安排,11月19日这一天,全世界都将拭目以待

古书奇谈
2026-11-17 10:23:42
又一国宣布:加息!金价,重挫!

又一国宣布:加息!金价,重挫!

证券时报
2026-11-18 17:28:04
美军证实第三艘航母已抵达中东,伊朗:若美国不接受伊条件霍尔木兹海峡将继续关闭,即便接受条件,外国军队在波斯湾的存在也必须终结

美军证实第三艘航母已抵达中东,伊朗:若美国不接受伊条件霍尔木兹海峡将继续关闭,即便接受条件,外国军队在波斯湾的存在也必须终结

每日经济新闻
2026-11-17 21:10:14
中国已经成为全球第一个集体拒接电话的国家

中国已经成为全球第一个集体拒接电话的国家

黯泉
2026-06-26 10:44:35
2026-11-19 01:16:49
文汇报 incentive-icons
文汇报
华语世界高品质人文阅读平台
294545文章数 310336关注度
往期回顾 全部

数码要闻

大疆多款产品“如期”涨价:涉Osmo Pocket 4/4P/Nano,最高涨560元

头条要闻

“感谢中方特殊安排” 特朗普又带着高规格代表团来了

头条要闻

“感谢中方特殊安排” 特朗普又带着高规格代表团来了

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

主持人张泉灵被曝猛料,公司成老赖

财经要闻

黄仁勋留下的高分成绩单,能延续吗?

科技要闻

离职后首份声明!黄仁勋认错愿回归

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

数码
房产
手机
游戏
公开课

数码要闻

铭凡5L台式机T5 Max-388上市:48GB + 1TB,到手价9699元

房产要闻

周大生出手!海棠湾又一大商业体来了

手机要闻

2nm双芯悬案!vivo X Fold7不跟风阔折叠,先把散热账算明白了

《GTA6》首个BUG出现 博主怒喷“2077首发”重演

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版