空间智能的李飞飞更新了最新的worldlabs的产品,公测:Marble ,建议每个产品经理都去用下。
这款产品在前期,可以允许申请API调用的形式完成使用,这款产品最大的核心就是有空间模型的生成,能够感受到物理空间的距离、间距、以及画面完成空间维度的视频与交互生成。
![]()
世界模型Marble基本原理
下面是其部分截图演示
![]()
目前图像质量的清洗度与帧数基本达到可用,距离2K、4K、以及高帧数,还有一段距离,估计是因为现在的模型算法与成本原因。
在VIsion pro上有一个叫做沉浸中国的APP vision pro,用户可以下载后马上在vision pro里面查看到国内各个景点的3D照片并且是高清4K的,让自己身临其境,不过却无法交互,只能在里面查看浏览。
![]()
现在有了空间智能模型,几乎就可以完成任意的场景切换与交互互动了,这个就几乎就是头号玩家的空间环境壁纸,是可动、变化的。
基于空间视频的机器人训练
现实生活中,要想去录制这么多素材视频几乎不可能,而现在有了空间智能与空间视频,就可以利用生成对应的物理世界空间模型
而视频数据就可用用来做机器人所需要的素材训练了。
![]()
之前我分享过马斯克的缸中之脑、以及宇树科技王兴兴就分享了现在利用视频生成来完成机器人动态捕捉数据获取,是一个比较可靠的收敛训练方式,如下面步骤是折叠衣服用机器模型生成每一个步骤,直接可以用来训练。
![]()
机器人折衣服步骤用EMU3.5模型,世界模型生成步骤,不需要再来真实拍摄,也就是模型无需更多的素材数据,自己就可以训练自己
空间计算产品经理:现在AI是唯一无法生成的素材
现在打开任意的AI编码工具与原型工具,vision pro这类空间应用的界面与交互仍然是没有办法生成,本质原因是现在AI模型根本就没有这类数据,要知道现在安卓XR还没有铺开,开发者几乎都在vision OS,这些数据太少了。
空间计算的产品经理现在还是在用比较传统的方式来完成开发,比如用Axure或者空间原型工具手动的完成空间原型、UI、交互设计。
![]()
空间计算产品经理,首先要有一个空间设备:vision pro
普通的产品经理要转型到空间计算,首先自己要有一台空间计算设备,也就是AR或者MR眼镜,并且运行空间操作系统。
这样才能够完成空间应用的开发,就像你现在做手机IOSAPP开发,你首先要有苹果2件套,iPhone 、Mac OS,才能够完成IOS的APP开发与测试。
现在vision pro第二代上线之后,我身边仍然只有寥寥无几的产品经理使用过vision pro,对于我来说,现在vision pro已经成为我日常不可缺失的设备,空间应用的办公已经大大让我不需要对颈椎进行压迫,我可以比较轻松的完成办公。
比如做一个调研,你戴过vision pro吗
从调研结果来看,可以看到这部分仍然只有少部分人知道,以至于我们每次出去宣讲的时候,别人都会感受到震撼,并且有非常高的投资率,这不是普通的手机APP可以比拟的。
最后,我建议每个产品经理都买一个vision pro
如果你真的打算在IT行业创业以及做产品,现在不仅要拥抱AI,还建议每个产品经理买一个vision pro,这个不仅是一个设备,而是一个全新的革命与时代,这是一个新的iPhone时刻,只有用了才知道。
通过多使用vision pro的原生应用与APP,才能知道设计什么样的空间应用,不过从现在来看几乎任何场景的APP,哪怕是微信,都可以重新再vision pro上做一个。
各种机会摆满了,或许今天这篇文章阅读量很少,但是这就预测接下来2年的变化,买一个vision pro将提前成为那一批"吃螃蟹“的人。
今天的分享就在这里。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.