网易首页 > 网易号 > 正文 申请入驻

华为的空间模型来了(开源),做人形机器人自动化模型必备的世界模型终于来了

0
分享至

就在最近,华为在GitHub上开源了一个全新的世界模型叫做WorldGrow,这个模型可以允许生成3D世界,并且只需要一张A100卡即可运行。


模型来自论文,来自上海交通大学、杭州科技大学一起发布的,因为这是两位学生在华为实习的时候完成的,这个模型可以让机器人模型可以自己在房间里完成任务并且自己训练自己,如下是论文的封面允许机器人 在里面进行行走,并且模型不断生成新的房间,让机器人识别出来。


与之对应的现在全世界还有几个头部的空间模型,分别是

2.李飞飞的RTFM (源代码未开源)

RTFM是基于worldlabs衍生出来的,前者需要大量的显卡算力无法部署,而RTFM只需要一张A100即可运行,可以支持用户在世界里进行空间交互,再将其AI模型在物理世界中运行,获取模型反馈并得到模型的训练优化。

如下是RTFM的测试链接,可以调整世界交互速度与画面分辨率


而RTFM最大的特点是只有一张A100就可完成部署与运行,并且运行用户在第一视角上完成上下左右的运行。

https://rtfm.worldlabs.ai/

3.马斯克的:世界模拟器 simulate world

异曲同工的还有马斯克特斯拉的世界模拟器,相较于前面2个模型,这个生成的更加真实,包含了真实世界的场景与人类,可以让FSD模型实现更好的自动化驾驶,同时世界模型同样适用于具身机器人的擎天柱训练。


被称之为自驾模型训练的缸中之脑,通过生成真实的世界街道录像,让特斯拉FSD模型可以自主在虚拟世界中自动化驾驶。并且生成特定任务,让AI模型可以在其中学习正确路线

以上世界模型典型的特点是首先是3D的,其次是空间生成的物理尺寸与规律和真实世界一样,3个世界模型的竞品对比,除了开源与闭源的关系,还有在数据集、展现方式、落地厂家、工程成熟度以及优势、局限来做的对比。

维度

Tesla World Simulator

Huawei WorldGrow

World Labs RTFM

核心目标

统一 FSD 与 Optimus 的端到端自主学习/仿真

无限大显式3D世界

生成(可拼接扩展)

实时交互式

世界生成(帧级自回归扩散Transformer)

数据/训练

车队与机器人视频/多传感器;闭环E2E

高质量场景块数据 + 3D上下文建模

大规模视频数据端到端训练

展现方式

神经视频/隐式世界表示(偏黑箱)

显式3D

:体素→网格→贴图,利于工具链

2D帧生成但保持3D一致与持久性(空间记忆)

落地场景

自动驾驶、机器人策略学习与评测

内容生成、仿真场景资产搭建

交互应用、内容/场景快速生图与游走

工程成熟度

高(量产导向、闭源)

研究前沿(论文+Demo)

研究到产品化过渡中(公开Demo/博客)

开源/可用性

未开源

论文/项目页公开,代码待看版本

官方博客/演示,暂未见完整开源

优势

与真实任务强耦合;统一车辆/机器人

显式3D可编辑、可拼装、扩展无限空间,在空间产品设计场景上使用,尤其是家居室内

单卡H100实时、可交互、3D一致性强,适合空间3D交互效果

局限

封闭难复用;细节未公开

与控制/物理闭环还需打通

与控制/物理对齐、长时稳定仍需验证

AI产品正在从文字到2D再到3D最后到空间感知与物理环境

现在看AI的生成内容已经从单维逐步到2维最后的三维世界,现在还缺少空间的感知与物理环境,这些仍然需要大量的数据训练。

不过很遗憾的是,很多产品经理都跟不上了,因为前几天做了一个调研,现在付费使用AI大模型的产品经理,只有不到20%,从现在来看这个数据是非常低的。


如果你也感兴趣这个调研,可以在这个文章里参与投票。

以上的世界模型,除了华为的可以复用并且场景有限在室内,对希望做人形机器人的开发者来说,空间数据依赖于更准确、更复杂的环境生成,才能够让模型有通用型,而这部分就需要更加真是的外部世界。

当然,我也找了几篇论文有开源的世界模型,比如下面这个基于GTA5世界效果来作为数据集训练的世界模型,Matrix2.0,可以参考论文地址活动模型源代码: https://arxiv.org/pdf/2508.13009


这些世界模型就可以用来做人形机器人的通用模型训练,甚至是可以做到让真实世界与虚拟模型一致,简单来说就是数字孪生实时生成。

要知道现在SORA这些视频生成模型,也可做到上下环节的主要人物没有区别,控制片头片尾一致性,而世界模型则是做到真实世界的映射。

这样机器人的操作其实在虚拟模型里面已经完成了,真实世界只是一个模型的落地操作,这样人形机器人就具备“通用型了”。

接下来,在十五五规划里,人形机器人将配合国家发展策略进行大爆发,接下来产品经理对应的研发产品科技将和国家强相关。

今天的分享就在这里

“关注我,一个产品经理的创业故事”

产品经理一键AI工作站,Paraflow

我最近的精选原创

云栖大会后,阿里正式成为了中国的“OpenAI+英伟达”

和我一起每日拆解AI产品APP

我创建的产品设计打卡社群,加入后365天,每天体验一款APP。提升产品设计能力,同时有1300份体验报告帮助你找到竞品。

在这里你可以随时查询到你想找的各类竞品行业APP,无须自己亲自下载就可以马上得到APP的一手产品优化、交互设计、功能描述信息。

从优化&建议、商业模式、运营、功能描述、交互设计、产品定位至少6个维度,体验一款应用。平均1天1块钱,扫码购买即可加入,连续体验48款应用,通过后原路退回。

报名后添加星球助理

PMTalk123

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
慢扩张的 Costco,终于要开第 8 家店了!

慢扩张的 Costco,终于要开第 8 家店了!

中国零售信息
2026-03-11 20:37:47
3连胜!杰伦格林25+4,布克27+7,火箭要争气了,掘金即将附加赛

3连胜!杰伦格林25+4,布克27+7,火箭要争气了,掘金即将附加赛

巴叔GO聊体育
2026-03-11 14:49:27
油价上演史诗级“过山车”

油价上演史诗级“过山车”

澎湃新闻
2026-03-11 11:07:07
84年,娘留算命先生吃饭,临走他指着小妹道:她的福你享

84年,娘留算命先生吃饭,临走他指着小妹道:她的福你享

人间百态大全
2026-03-12 06:30:07
星舰真实发射价首次曝光:9000万美元一发

星舰真实发射价首次曝光:9000万美元一发

三体引力波
2026-03-11 14:01:14
什么事让你瞬间感到毛骨悚然?网友:从此再没见过她老公发脾气

什么事让你瞬间感到毛骨悚然?网友:从此再没见过她老公发脾气

另子维爱读史
2026-03-10 23:08:46
老外对中国蔬菜消费感到震惊,竟认为是特权!

老外对中国蔬菜消费感到震惊,竟认为是特权!

特约前排观众
2026-02-24 00:15:08
被骂上热搜后,山姆终于低头了!这6款下架神物悄悄回来了

被骂上热搜后,山姆终于低头了!这6款下架神物悄悄回来了

半身Naked
2026-03-11 20:25:32
直通珠海!新高铁,开通时间定了!

直通珠海!新高铁,开通时间定了!

珠海发布
2026-03-12 10:38:57
中国弹药储备到底有多少?够再打一次世界大战吗?量大管饱尽管用

中国弹药储备到底有多少?够再打一次世界大战吗?量大管饱尽管用

Ck的蜜糖
2026-03-09 11:05:11
两会结束了,未来可能会面临“这3个政策”,与百姓生活息息相关

两会结束了,未来可能会面临“这3个政策”,与百姓生活息息相关

小娱乐悠悠
2026-03-12 08:56:58
特朗普万万没料到,比访华邀请函先到的,是王毅外长的一句话

特朗普万万没料到,比访华邀请函先到的,是王毅外长的一句话

吃青菜长高
2026-03-12 05:02:34
一股民高位满仓万科,被套后死扛5年,287万本金亏损244万

一股民高位满仓万科,被套后死扛5年,287万本金亏损244万

财经智多星
2026-03-12 06:14:09
伊朗下起“黑雨”!世卫组织警告

伊朗下起“黑雨”!世卫组织警告

中国日报
2026-03-11 14:40:05
男子花500万购买比特币,8年后女儿生病急需用钱,看到余额后懵了

男子花500万购买比特币,8年后女儿生病急需用钱,看到余额后懵了

第四思维
2025-07-29 13:41:10
怎么判断一个单位已经烂透了?网友:我公司全中,属实扎心

怎么判断一个单位已经烂透了?网友:我公司全中,属实扎心

另子维爱读史
2026-01-01 23:40:47
伊朗开战13天强势反击,巴基斯坦态度大变,特朗普高兴过早

伊朗开战13天强势反击,巴基斯坦态度大变,特朗普高兴过早

明天后天大后天
2026-03-12 10:28:32
致命一击!2.5亿门将组合成笑话,切尔西欧冠惨案背后谁该背锅?

致命一击!2.5亿门将组合成笑话,切尔西欧冠惨案背后谁该背锅?

落夜足球
2026-03-12 10:52:30
演员文章足球比赛受排挤,眼神呆滞面容疲惫,合影站后排无人问津

演员文章足球比赛受排挤,眼神呆滞面容疲惫,合影站后排无人问津

娱乐E君
2026-03-11 15:20:09
迪拜机场再次被炸!被困女星已失联,工作室一言不发,后果不敢想

迪拜机场再次被炸!被困女星已失联,工作室一言不发,后果不敢想

阿莱美食汇
2026-03-11 20:40:27
2026-03-12 11:32:49
Kevin改变世界的点滴 incentive-icons
Kevin改变世界的点滴
每周一次,产品案例与经验分享
264文章数 20关注度
往期回顾 全部

科技要闻

腾讯"养虾"暴涨后,百度急得在门口"装虾"

头条要闻

媒体:面对伊朗无人机乌"接单"救场 泽连斯基另有盘算

头条要闻

媒体:面对伊朗无人机乌"接单"救场 泽连斯基另有盘算

体育要闻

要脸,还是要83分纪录?

娱乐要闻

蔡少芬晒全家福照,两女儿成最大亮点

财经要闻

卢锋:从特朗普团队群演看时代变局

汽车要闻

大众2025财报:转型虽有阵痛 "大象"已然起跑

态度原创

数码
教育
手机
公开课
军事航空

数码要闻

闪迪发布工业级存储卡IX QD352 microSD、IX LD352 SD

教育要闻

反演变换 大鹏老师终极大总结!

手机要闻

「鲜Phone画报」一加15T松弛抹茶|轻盈趁手,旗舰尽有

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

朝鲜"崔贤"号驱逐舰进行战略巡航导弹试射

无障碍浏览 进入关怀版