网易首页 > 网易号 > 正文 申请入驻

Gravity:面向长程复杂任务的统一具身智能框架

0
分享至

面对任务链长、环境不确定、误差易累积且需精细接触与自主纠错的复杂操作,现有方案难以兼顾"理解"与"预判"。Gravity 给出一套面向长程、复杂、可泛化机器人任务的统一具身智能框架:以 MoT(Mixture-of-Transformers)为骨架,融合 VLM 的指令与场景理解、任务推理,以及世界模型对未来状态的预测与子目标评估;同时引入触觉/力觉、先验知识(Priors)、多模态子任务过程监督、任务阶段与完成度(Stage/Progress)输出及短长期记忆模块,并由强化学习驱动真机部署后的持续自进化。一句话概括:会理解,更会预判与生成;训练时把世界学透,推理时以极简链路实时行动;部署之后,越用越强。



▲Gravity 框架总体架构示意

六大技术特点

1.双脑融合:理解与生成一体化的基座模型

业内主流路线存在割裂:VLA 具备场景理解、指令遵循与动作生成能力,但对环境动态与动作长期后果建模不足;WAM 能模拟未来变化,却缺乏高层语义理解与任务规划。Gravity 构建 AR Transformer 与 Diffusion Transformer 协同的"双脑融合"架构:AR Transformer 作为认知决策中枢,理解指令、识别语义、解析目标,并将复杂任务分解为可执行的阶段与子任务;Diffusion Transformer 负责动态推演与动作生成,通过预测未来状态分布模拟动作影响、评估结果,提前识别碰撞、滑落、遮挡、抓取失败等风险。两者在任务语义、环境状态与动作表征层面深度耦合,使机器人在执行前对多种候选策略进行内部模拟与风险评估,形成"感知—理解—规划—推演—执行"闭环。由此机器人从"看到什么就做什么"升级为"先想清楚再行动",显著提升长流程、多约束、高风险作业的成功率,适用于精密装配、复杂分拣、柔性制造、设备操作等场景。

2.深认知,快行动:多维表征学习,精简动作推理

训练阶段,模型借助 3D 空间结构、Flow、可供性、语义、动力学、物理属性、场景图等多维中间表征,从几何、运动、功能、关系与物理规律多层面理解环境,提高监督密度、减少捷径学习,提升复杂任务的能力上限、泛化性与鲁棒性。推理阶段,这些表征不再显式生成,而作为隐式知识服务于动作决策:关闭非必要解码分支,省去中间结果后处理与传输,只输出动作与任务进度,从而缩短推理路径、降低算力显存成本、提升控制频率与实时性。其本质是能力与效率的解耦——能力在训练中做加法,延迟在推理中做减法。这一"训练重、推理轻"设计已率先由 Gravity 4D(基于 Diffusion Transformer 的 4D WAM)落地并获实验验证。

3.触觉与力觉:从时空几何建模走向物理交互建模

仅靠视觉的 4D 模型能描述几何、运动与形变,却难以感知质量、刚度、摩擦与接触稳定性。Gravity 把触觉与力觉视为一等模态,使模型从"观察世界"走向"通过交互理解世界",升级为视觉—触觉/力觉协同的物理交互智能。

4.任务意识 + 分层记忆:为长程任务而生

长程任务的关键在于持续理解"当前处于哪个阶段、已完成什么、下一步做什么、异常后如何恢复"。传统端到端模型缺乏显式任务状态,易出现步骤遗漏、重复操作、阶段切换错误或异常后无法继续。为此,Gravity 引入显式 Stage/Progress 状态机制,持续输出任务阶段与完成进度,实时判断子任务是否完成、是否满足切换条件、是否偏离目标、是否需暂停重试或回退,使任务进度成为可观测、可解释、可干预的结构化信息。

在此基础上构建与任务时间结构匹配的分层记忆:**短时记忆(秒级)**由 Diffusion Transformer 生成,描述近期观测、动作轨迹、物体运动趋势与接触状态,帮助理解连续动作的因果关系,将割裂的静态图像转化为具速度、方向、惯性的连续动态过程;**长期记忆(数秒至数分钟)**由 AR Transformer 生成,记录任务目标、执行阶段、关键事件、历史决策与异常原因等语义信息,跨越多个动作片段维持任务上下文。短时记忆解决"最近发生了什么、当前动作是否有效",长期记忆解决"为什么执行、完成到哪、下一阶段是什么",两者与 Stage/Progress 协同,支持局部重试、步骤回退、策略切换或请求人工介入,实现长流程作业的稳定、可控、可解释与可恢复,并天然适配制造执行、仓储调度与人机协作等系统。

5.机器人 Skill:注入专家知识,少数据冷启动,安全可控

Gravity 显式引入 Robot Skill 与先验知识注入,支持将操作手册、工艺规范、专家示范、标准作业程序、技能库、约束条件与安全规则纳入训练与推理,使模型以行业经验为基础在明确规则下学习与执行。Robot Skill 将复杂操作封装为标准化、可复用、可组合的能力单元,上层按任务与现场状态选择组合,形成模块化、可解释的执行体系;专家知识用于定义技能适用条件、成功标准与异常处理,避免只顾完成而忽视工艺与安全。进入新场景时可用少量示范结合既有技能与先验快速适配,降低数据与训练成本,并在不同本体、工位间迁移复用。Gravity 由此实现"少数据、快泛化"与"有边界、可审计、能管控"。

6.部署即进化:越用越强

传统模型采用"离线训练、一次部署"的静态模式,上线后难以自动沉淀经验,高价值数据无法转化为能力。Gravity 通过 Evaluation Model 与强化学习,建立"部署—反馈—评估—数据沉淀—再训练—再部署"的持续进化闭环。真实环境中每次成功、失败、人工接管与专家纠正都被结构化记录,由 Evaluation Model 从完成度、动作稳定性、工艺质量、执行效率与安全合规等维度自动评估。成功样本提炼高质量轨迹与有效技能组合,强化最佳实践;失败样本定位失败阶段并分析其与感知误差、规划偏差、动作执行、环境变化或安全约束的关联;专家纠正动作信息密度高,可快速修正长尾场景的行为偏差。通过离线强化学习、偏好学习、失败样本重加权与针对性再训练,将运行经验持续转化为更优策略,使部署现场从能力使用端变为数据生产端与迭代驱动端。随着规模扩大,跨工位、设备、场景的经验在安全隔离与质量筛选下汇聚,形成跨场景经验复用与能力迁移。使用越久、覆盖越广,应对长尾与复杂工况的能力越强,最终形成由真实数据、行业知识、技能资产与反馈闭环构成的持续复利优势与技术壁垒。

结语:一个统一框架下的具身智能

理解、预判、行动、记忆、先验、进化——六者在 Gravity 中被统一进同一套 MoT 双脑架构,其目标始终一致:让机器人在真实世界中真正干活,真正产生客户价值。目前 Gravity VLA 与 Gravity 4D WAM 作为部分模块已率先落地,我们将持续推进完整 Gravity 系统的构建,并在后续发布更多进展。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
伊朗再次绝杀!美国再遭重创,终极博弈开始了!

伊朗再次绝杀!美国再遭重创,终极博弈开始了!

大嘴说天下
2026-07-17 18:17:14
大局已定!退休人员马上要面临的4大难题。早知道早准备!

大局已定!退休人员马上要面临的4大难题。早知道早准备!

阿芒娱乐说
2026-07-18 04:06:21
仅大16岁,老少恋的“残酷”,为何在64岁马兰身上体现的淋漓尽致

仅大16岁,老少恋的“残酷”,为何在64岁马兰身上体现的淋漓尽致

胡一舸南游y
2026-07-17 14:43:48
真不要脸,已经月收入两万块了,还与困难群众争利

真不要脸,已经月收入两万块了,还与困难群众争利

笔杆论道
2026-07-02 00:00:06
和未婚妻去婚检,护士趁她接电话间隙,压低声音对我说:赶紧分手

和未婚妻去婚检,护士趁她接电话间隙,压低声音对我说:赶紧分手

云端小院
2026-07-18 08:01:29
智商3岁“天才指挥家”舟舟,繁华逝去,谎言过后又是怎样的人生

智商3岁“天才指挥家”舟舟,繁华逝去,谎言过后又是怎样的人生

云舟史策
2026-07-17 11:35:12
徐克送别施南生仅一天,小30岁女友过往被扒,原来她才是人间清醒

徐克送别施南生仅一天,小30岁女友过往被扒,原来她才是人间清醒

白面书誏
2026-07-16 14:41:23
特朗普:因凡蒂诺提议下届世界杯可以中美合办,球员们会喜欢

特朗普:因凡蒂诺提议下届世界杯可以中美合办,球员们会喜欢

懂球帝
2026-07-18 10:30:06
体制内人员充当“内鬼”,在自媒体账号上以“挂简历”等方式“预告”官员落马,夸大、炒作贪腐情节,并靠此赚钱,办案人员披露→

体制内人员充当“内鬼”,在自媒体账号上以“挂简历”等方式“预告”官员落马,夸大、炒作贪腐情节,并靠此赚钱,办案人员披露→

吉刻新闻
2026-07-18 10:42:58
中国的头号帮手就位了!硬刚美日14国,坚决支持中国南海的主权

中国的头号帮手就位了!硬刚美日14国,坚决支持中国南海的主权

通鉴史智
2026-07-18 10:02:18
我国越来越多的人患脑梗?医生建议:停止食用“8物”,保护大脑

我国越来越多的人患脑梗?医生建议:停止食用“8物”,保护大脑

路医生健康科普
2026-07-18 04:20:03
特朗普要是拿不下伊朗,中国之后会干什么,西方已经想都不敢想

特朗普要是拿不下伊朗,中国之后会干什么,西方已经想都不敢想

共工之锚
2026-07-17 00:26:45
腾格尔现状:住北京别墅,66岁彻底戒酒,把老来得子儿子宠成宝

腾格尔现状:住北京别墅,66岁彻底戒酒,把老来得子儿子宠成宝

秋姐居
2026-07-16 19:19:23
山东大学,狂跌8800位次,发生了什么?

山东大学,狂跌8800位次,发生了什么?

勋哥教你填志愿
2026-07-18 14:16:52
55岁再婚大妈哭诉:再婚后毛都没有了,真的不想要这样的婚姻了

55岁再婚大妈哭诉:再婚后毛都没有了,真的不想要这样的婚姻了

拾代谈生活
2026-07-18 10:36:04
《功夫女足》藏周星驰龙套天团!除了刘嘉玲牌友,还有丧彪前男友

《功夫女足》藏周星驰龙套天团!除了刘嘉玲牌友,还有丧彪前男友

头号电影院
2026-07-16 19:11:49
冉莹颖哭穷风波反转?知情人爆破产另有原因,她曾和老总紧密互动

冉莹颖哭穷风波反转?知情人爆破产另有原因,她曾和老总紧密互动

秋姐居
2026-07-16 16:36:21
世界杯冠军是谁,义乌早就知道了?

世界杯冠军是谁,义乌早就知道了?

21世纪经济报道
2026-07-18 00:39:05
宋轶整容失败认不出?乍一看还以为是易梦玲,脸变宽嘴变大颧骨变高

宋轶整容失败认不出?乍一看还以为是易梦玲,脸变宽嘴变大颧骨变高

扒星人
2026-07-17 13:56:37
反转!内贾德重出江湖,伊朗进入战争状态,万斯坦言美国无法获胜

反转!内贾德重出江湖,伊朗进入战争状态,万斯坦言美国无法获胜

黑鹰观军事
2026-07-18 14:16:24
2026-07-18 14:51:00
市值Observation incentive-icons
市值Observation
聚焦上市公司市值与价值
4650文章数 15929关注度
往期回顾 全部

科技要闻

WAIC2026看什么?这份"不迷路"攻略请收好

头条要闻

重庆山体崩塌 遇难者亲人:他们撤出后站路边被岩体推走

头条要闻

重庆山体崩塌 遇难者亲人:他们撤出后站路边被岩体推走

体育要闻

德尚是非典型法国人 14年执教留下丰厚遗产

娱乐要闻

大S给具俊晔留遗产是昏头?实际上她清醒得很

财经要闻

股民当街砍博主!韩国股市 终极大屠杀

汽车要闻

把中国超跑卖到英国,比亚迪正在被世界看见

态度原创

健康
手机
游戏
教育
旅游

刮痧也会刮出脑梗?讲个真实案例

手机要闻

开创智能手机新形态!荣耀Robot Phone正式开启预约:8月发布

同为女性向,《以闪亮之名》却为国产游戏立住了文化脊梁!

教育要闻

小升初考试题,九宫格填数字

旅游要闻

第36届旅游那达慕正式开幕

无障碍浏览 进入关怀版