网易首页 > 网易号 > 正文 申请入驻

阿里达摩院开源具身智能三件套!RCP协议首解机器人开发碎片化难题

0
分享至

智东西8月11日报道,在世界机器人大会上,阿里达摩院宣布开源其自研的 VLA(视觉-语言-动作) 模型RynnVLA-001-7B、世界理解模型RynnEC、以及机器人上下文协议RynnRCP,推动数据、模型和机器人的兼容适配,打通具身智能开发全流程。

达摩院将MCP(模型上下文协议)理念引入具身智能,首次提出并开源RCP(Robotics Context Protocol)协议,推出一套完整的机器人服务协议和框架RynnRCP。它类似于一个“万能连接器”,能够打通从传感器数据采集、模型推理到机器人动作执行的完整工作流,目前已支持Pi0、GR00T N1.5等多款热门模型以及SO-100、SO-101等多种机械臂。

RynnRCP是一套完整的机器人服务协议和框架,主要由两个模块组成:RCP框架和RobotMotion

RCP目前实现的主要功能包括:提供机器人本体及相关传感器能力的抽象,对外提供各种功能,并通过标准协议、不同的传输层和模型服务进行交互;RobotMotion作为云端推理与机器人本体控制之间的桥梁,将离散的低频推理命令实时转换为高频的连续控制信号,驱动机器人完成运动任务。此外,它还配备了运动规划与控制所需的工具包,助力具身智能融入物理世界。

▲机器人上下文协议RynnRCP开源页面截图

开源地址:
https://github.com/alibaba-damo-academy/RynnRCP

RynnVLA-001是达摩院自研的基于视频生成和人体轨迹预训练的视觉-语言-动作模型,能够从第一人称视角的视频中学习人类的操作技能,隐式迁移到机器人手臂的操控上。

如下面动图所示,当研发人员告诉机械臂把草莓放到手掌上,机械臂能够理解语言的意思,随后在一些物品中识别出草莓,拿起并放到正确的位置。

▲RynnVLA-001演示

研发人员在同一数据集上对基线进行了微调,以评估其性能。对比结果如下图所示,RynnVLA-001在多项具体的捡拾物品放置测评中都取得了最高分成绩。

▲RynnVLA-001测评结果

研发团队提供了如何使用开发者自己的LeRobot数据(第 2 阶段和第 3 阶段)对模型进行微调的说明,后续还将发布如何从零开始训练模型的说明。

▲VLA模型RynnVLA-001开源页面截图

开源地址:
https://github.com/alibaba-damo-academy/RynnVLA-001

世界理解模型RynnEC将多模态大语言模型引入具身世界,赋予了大模型理解物理世界的能力。该模型能够从位置、功能、数量等11个维度全面解析场景中的物体,并在复杂的室内环境中精准定位和分割目标物体,建立连续的空间感知并支持灵活交互。

RynnEC是一种专为具身认知任务设计的视频多模态大型语言模型(MLLM),如下图所示,能够对现实世界中几乎无限的事物进行识别和认知分析。本次,达摩院推出了RynnEC-2B 模型、RynnEC-Bench和训练代码

▲RynnEC演示

如下图所示,RynnEC-2B在Direct Seg(直接分割)、Situational Seg(情境分割)、Material(材料)、State(状态)、Surface(表面)等对象认知测试中超越了Gemini-2.5-Pro、Qwen2.5-VL-72B等顶尖模型,并在空间认知测试中大幅超越了这些模型。

▲RynnEC-2B测评结果

聚焦RynnEC-Bench基准,其在两个关键领域对模型进行评估:object cognition(对象认知)和spatial cognition(空间认知),评估总体22体现的认知能力。

▲世界理解模型RynnEC开源页面截图

开源地址:
https://github.com/alibaba-damo-academy/RynnEC

结语:打通机器人从感知到执行的完整链路

达摩院此次开源的“三件套”——贯通硬件的RynnRCP协议、拟人化操控的RynnVLA模型与理解物理世界的RynnEC模型,如同为具身智能开发者提供了一套“乐高式工具包”。

它们通过标准化连接、拟人化控制与空间认知三大突破,打通了机器人从感知到执行的完整链路,有望在之后迭代的过程中大幅降低开发门槛,加速具身智能在工业、家庭等场景的规模化落地,让机器人真正“看得懂世界,动得像人类”。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
2026年还在坚持开油车而绝不买电车的人,都是富有远见的!

2026年还在坚持开油车而绝不买电车的人,都是富有远见的!

你在偷看谁
2026-08-02 16:07:30
北汽董事长:余承东终于闭嘴了,网友:没有他的标准,你一台都不能出厂

北汽董事长:余承东终于闭嘴了,网友:没有他的标准,你一台都不能出厂

大厂财经社
2026-08-25 11:11:25
女子被摸胸猥亵20多次,说给她治乳腺结节:一直都是摸左胸,最后一次摸成右胸,事情败露

女子被摸胸猥亵20多次,说给她治乳腺结节:一直都是摸左胸,最后一次摸成右胸,事情败露

江山挥笔
2026-08-25 17:27:02
9000万刚到就报销!杨瀚森也糟了!彻底没球打!

9000万刚到就报销!杨瀚森也糟了!彻底没球打!

柚子说球
2026-08-25 12:50:51
为了炒股赚大钱,上海男子卖了两套房,投入近700万……本以为跟着“大佬”飞,没想到掉进了模拟盘的坑

为了炒股赚大钱,上海男子卖了两套房,投入近700万……本以为跟着“大佬”飞,没想到掉进了模拟盘的坑

环球网资讯
2026-08-26 08:37:14
前TVB女星疑似被70岁富商隔空示爱,两人相差23岁,女方至今未婚

前TVB女星疑似被70岁富商隔空示爱,两人相差23岁,女方至今未婚

落雪听梅a
2026-08-26 02:49:31
有西方美女靓丽,又有东方美女风韵,太漂亮了!

有西方美女靓丽,又有东方美女风韵,太漂亮了!

喜欢历史的阿繁
2026-08-26 02:38:29
北大张丹丹“灵活就业是福利”论,证明部分精英已经丧失了把底层劳动者当“活人”而不是“样本”的能力

北大张丹丹“灵活就业是福利”论,证明部分精英已经丧失了把底层劳动者当“活人”而不是“样本”的能力

壹家言
2026-08-24 12:53:43
英国转让导弹技术,乌克兰用最宝贵资产回馈!克宫不满却遭硬怼

英国转让导弹技术,乌克兰用最宝贵资产回馈!克宫不满却遭硬怼

鹰眼Defence
2026-08-25 17:26:43
郑丽文要被换掉?根据台媒披露,国民党本土派正在酝酿在2026年底,换掉郑丽文,推出一位与2028参选人一致的国民党主席,并且并不姓卢!

郑丽文要被换掉?根据台媒披露,国民党本土派正在酝酿在2026年底,换掉郑丽文,推出一位与2028参选人一致的国民党主席,并且并不姓卢!

扶苏聊历史
2026-08-25 16:44:27
英媒:威廉若再动手打哈里,王室四女眷将成苏塞克斯回归最大障碍

英媒:威廉若再动手打哈里,王室四女眷将成苏塞克斯回归最大障碍

娱圈观察员
2026-08-26 01:49:18
真的有人喜欢微胖吗?一个人的时候,常常会感到不自信

真的有人喜欢微胖吗?一个人的时候,常常会感到不自信

娱你同欢
2026-07-31 23:28:29
钱再多有什么用?这次,被紧急送医的赵丽颖,给所有人提了个醒

钱再多有什么用?这次,被紧急送医的赵丽颖,给所有人提了个醒

叨唠
2026-08-26 03:15:51
有个体育生女朋友是啥体验?网友:体力不行的真的会被累到气血不行

有个体育生女朋友是啥体验?网友:体力不行的真的会被累到气血不行

带你感受人间冷暖
2026-08-24 00:05:32
赛考斯又哭了!紧紧握住殷玉珍的手说,我这次要走了,可能没有机会回来了

赛考斯又哭了!紧紧握住殷玉珍的手说,我这次要走了,可能没有机会回来了

西楼知趣杂谈
2026-08-25 17:56:00
苏州一对情侣,谈了7年,女子提了18次分手,分手后在街头痛哭!

苏州一对情侣,谈了7年,女子提了18次分手,分手后在街头痛哭!

川渝视觉
2026-04-17 22:13:14
撞脸周杰伦爆红的摊主“粥饼伦”要闭店:租金从13万元涨到20万元,今年生意不如去年,租金上涨后难以继续

撞脸周杰伦爆红的摊主“粥饼伦”要闭店:租金从13万元涨到20万元,今年生意不如去年,租金上涨后难以继续

鲁中晨报
2026-08-25 11:26:48
微软史上最 “敷衍” 的Windows大版本更新:体积缩水三千倍,却比历代大版本都稳

微软史上最 “敷衍” 的Windows大版本更新:体积缩水三千倍,却比历代大版本都稳

泡泡网
2026-08-25 12:19:15
家里放一碗清水静置3天,就能看出家里近况?老祖宗经验不是迷信

家里放一碗清水静置3天,就能看出家里近况?老祖宗经验不是迷信

历史教堂
2026-08-25 16:27:29
29岁中国女子在泰国遭4名男子绑架,被抢走手机、肘击嘴部,带往泰缅边境途中跳车自救!此前一名通过网络认识的“朋友”叫她到泰国玩几天

29岁中国女子在泰国遭4名男子绑架,被抢走手机、肘击嘴部,带往泰缅边境途中跳车自救!此前一名通过网络认识的“朋友”叫她到泰国玩几天

都市快报橙柿互动
2026-08-25 00:39:51
2026-08-26 10:23:00
智东西 incentive-icons
智东西
智东西,AI产业新媒体,专注报道人工智能的前沿技术发展,和技术应用带来的千行百业产业变革。
12492文章数 117164关注度
往期回顾 全部

科技要闻

2026新一代AI(深圳)创业创新大赛总决赛

头条要闻

在北京私设路牌一炮走红 葛宇路9年后仍和女友租房住

头条要闻

在北京私设路牌一炮走红 葛宇路9年后仍和女友租房住

体育要闻

穆里尼奥如何摆贝林修斯姆巴佩?

娱乐要闻

韩沛颖风波发酵,大学同学揭开细节

财经要闻

恒瑞医药被创新药开除了吗?

汽车要闻

硬派越野+华为智驾 泰钽700上市焕新价24.98万起

态度原创

教育
数码
家居
公开课
军事航空

教育要闻

教育部:幼儿园不得教授小学课程!汉语拼音、识字、计算等都不行

数码要闻

Mac mini性价比神机没了:苹果疯狂涨价 起步就是6999元

家居要闻

2026建博会(广州) 公装联探展交流活动

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

“林肯”号离开中东 留下“一地鸡毛”

无障碍浏览 进入关怀版