网易首页 > 网易号 > 正文 申请入驻

破晓智能联合天珑移动发布 SeePhys Hub,推进全身全模态人类数据采集

0
分享至

机器人数据采集正在经历一条“解绑本体”的演进路线:从遥操作到 UMI再到 Ego,设备越来越轻,采集行为越来越简单。

不过,在不断简化设备的过程中,一些关键交互信息也随之流失——Ego 能记录双手在做什么,却难以完整捕捉全身运动,也感知不到手接触物体时的压力变化。而这些被简化掉的交互信息,往往才是完成任务的核心。

10 月 14 日,破晓智能联合天珑移动发布全身全模态数据采集系统 SeePhys Hub。整套系统由一个四目头环、两个腕部手环、三个腰腿部动作追踪器和一副触觉手套组成,可同步采集第一视角视觉(360°环视覆盖)、手部全模态数据(手部位姿追踪、高密度触觉)与全身运动信息(位姿与受力)。

在保留 Ego 便携性的同时,补回关键的身体与接触数据。同时,配套的自研数据处理平台,可将人类数据转化为面向机器人学习的多模态训练数据。


SeePhys Hub 是团队沿着 EgoTouch、TouchAnything、TouchWorld 技术路线推出的首款工程化产品,将此前在触觉数据与模型上的研究积累,转化为一套融合视觉、双手触觉与全身运动信息的可穿戴采集系统。

采集方式由繁到简,关键交互信息仍需补齐

具身智能究竟需要多少数据?已有研究者提出一亿小时 Ego 数据的估计。

当然,扩大采集规模,为覆盖更多场景与操作提供了可能。但采集时长并不直接等于学习收益,数据质量、与机器人任务的匹配程度,以及训练方式,同样影响最终效果。

破晓希望验证的是:在视觉之外,同步记录全身运动与触觉,更完整地呈现身体如何协同、手与物体如何接触,能否提高每小时数据的学习价值,让百万小时量级的全模态数据支撑预期的泛化能力?

日常生活中,许多任务都需要身体移动与双手操作持续配合。以铺床为例,人需要抓住被角、抬臂展开被子,再沿床边移动、拉平褶皱。身体位置决定双手能触及哪里,抓握位置与力度则影响布料如何展开。以视觉为主的 Ego 采集能记录眼前的操作,却难以完整捕捉视野之外的躯干、腿部运动,也无法直接测得抓握和牵引时的接触压力。


补充全身运动与触觉,就是为了保留这些关键状态:人如何移动、调整姿态,双手在哪里接触物体、压力如何变化。与视觉同步采集这些信息,有望让模型更直接地学习身体运动、手部接触与环境变化之间的关系。

在破晓看来,下一步不是回到繁重的采集方式,而是在兼顾便携性与活动自由度的同时,补回关键的交互信息。衡量数据价值,不能只看采集了多少小时,还要看每小时能让机器人学到多少。团队希望通过更完整的操作记录,提高数据效率,让机器人用更少的数据学会真实场景中的复杂操作。

触觉研究走向工程产品,为全身移动灵巧操作奠定数据基础

破晓此前的 Touch 系列,围绕触觉数据“怎么采、怎么扩展、怎么用”展开研究。EgoTouch 同步采集第一视角画面、双手姿态与压力分布,把人看到的操作和实际发生的接触对应起来;TouchAnything 则学习从视觉中估计接触位置与压力分布,为扩展触觉数据提供方法。

到了 TouchWorld,触觉进一步参与机器人的行动:操作前预测接触目标,执行中根据真实反馈修正动作。触觉由此从被记录的信号,逐步成为机器人预测与控制的依据。

SeePhys Hub 将这些研究积累,转化为一套可穿戴的全身采集系统。头部四目视觉记录场景,腕部视角捕捉近距离操作细节,腰部与双小腿的动作追踪器记录身体运动,触觉手套采集双手的接触压力。环境观察、身体运动与手部交互,被同步纳入同一次操作记录。

采集更多信息,也要兼顾穿戴负担和连续使用。SeePhys Hub 头环重量不超过 220 克,单个腕部手环不超过 75 克,两类设备均支持连续 24 小时不间断采集。头环内相机、IMU 与 UWB 的同步误差不超过 0.5 毫秒,便于对齐同一时刻的视觉与运动信息。


硬件记录之后,还需要把原始数据处理成机器人能用的训练数据。配套的自研平台负责数据解析、清洗,将连续操作切分成动作片段并添加语义标注,同时衔接场景重建、全身姿态估计、手部动作追踪等流程。动作重定向则负责将人的动作映射到机器人本体,为后续策略训练与本体适配提供支持。


以 SeePhys Hub 为起点,走向更远的未来

对破晓而言,采集产品并不是终点。团队更长远的目标,是构建面向全身移动灵巧操作的世界模型,将身体运动、手部接触与环境变化放在一起建模。机器人移动到一个新位置、调整身体姿态或改变接触方式之后,会产生怎样的结果?破晓希望模型能够预测这些变化,并结合执行反馈修正判断,为机器人选择下一步动作提供依据。

雷峰网了解到,破晓智能(PHANES AI)由哈尔滨工业大学(深圳)计算机科学与技术学院长聘教授、博士生导师杨朔创办,致力于构建面向人形机器人全身移动灵巧操作的世界模型。

SeePhys Hub 是破晓迈向这一愿景的产品化起点。成立以来,破晓逐步组建起一支兼具模型研究与工程化经验的团队,团队90%以上核心成员毕业于清华大学、北京大学、香港大学、哈尔滨工业大学等顶尖高校,拥有极高的学术人才密度。成员的研究与实践覆盖全模态大模型、世界模型、大规模数据处理与硬件。


从触觉到全身,从交互数据到世界模型,这支团队希望探索一条具身智能的原生路径:让机器人从真实交互中学习,在物理世界中自主行动。SeePhys Hub 的发布,让这一探索从研究走向了产品。沿着这条路,破晓正将对机器智能的设想一步步带入现实,向着具身智能的黎明前行。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
突发!全部下架!懂车帝麻烦了,一切都反转了!

突发!全部下架!懂车帝麻烦了,一切都反转了!

财经要参
2026-10-17 07:07:30
“三老板”突然离世,年仅38岁,此前照顾患尿毒症妻子多年,妻子:天塌了,我会把两个孩子养大,让他放心

“三老板”突然离世,年仅38岁,此前照顾患尿毒症妻子多年,妻子:天塌了,我会把两个孩子养大,让他放心

极目新闻
2026-10-17 14:30:42
垃圾!中国留学生披日本旭日旗,引发全网震怒!

垃圾!中国留学生披日本旭日旗,引发全网震怒!

News脑洞
2026-10-17 19:22:14
39岁瓦尔迪激情滑跪!对着看台张开双臂:连续20年破门 英冠5场1球

39岁瓦尔迪激情滑跪!对着看台张开双臂:连续20年破门 英冠5场1球

风过乡
2026-10-17 07:16:57
突发!日本气象厅发布9.9级地震预警,四川网友都收到3.8级地震预警

突发!日本气象厅发布9.9级地震预警,四川网友都收到3.8级地震预警

可达鸭面面观
2026-10-16 13:13:39
镜报:前乌克兰国脚失联20个月后,确认在与俄军的战争中阵亡

镜报:前乌克兰国脚失联20个月后,确认在与俄军的战争中阵亡

懂球帝
2026-10-17 11:29:04
交1000元灵活就业社保,仅400元入个人账户

交1000元灵活就业社保,仅400元入个人账户

城事堂
2026-10-17 09:09:08
蒙古国大火延烧中国边境,难道与日本人钓鱼有关?

蒙古国大火延烧中国边境,难道与日本人钓鱼有关?

新民周刊
2026-10-17 09:36:45
跌麻了!纳斯达克大跌5%,韩股狂跌14%!市场一片哀嚎

跌麻了!纳斯达克大跌5%,韩股狂跌14%!市场一片哀嚎

城事堂
2026-10-17 09:43:44
三年恩怨,懂车帝和鸿蒙怎么结下的梁子?余承东公开炮轰后,鸿蒙全面停止与懂车帝的合作。

三年恩怨,懂车帝和鸿蒙怎么结下的梁子?余承东公开炮轰后,鸿蒙全面停止与懂车帝的合作。

贴小君
2026-10-16 23:45:59
虱子从中国人生活里消失,根本原因不是爱干净,真相让人傻眼

虱子从中国人生活里消失,根本原因不是爱干净,真相让人傻眼

奇葩游戏酱
2026-10-17 06:27:30
马斯克遭遇“踢馆”:有证的飞行汽车研发公司发布其车飞越特斯拉视频,称已领先11年

马斯克遭遇“踢馆”:有证的飞行汽车研发公司发布其车飞越特斯拉视频,称已领先11年

红星新闻
2026-10-17 16:28:14
讲台上下:被误解的老师和不敢沟通的家长

讲台上下:被误解的老师和不敢沟通的家长

新京报
2026-10-16 09:09:41
中央党报评“尊界刹车事件”!

中央党报评“尊界刹车事件”!

新浪财经
2026-10-17 15:31:29
曾被董宇辉“踢”出直播间的“榜一大哥”,要补税7.9亿元,公司董事会决议替他买单

曾被董宇辉“踢”出直播间的“榜一大哥”,要补税7.9亿元,公司董事会决议替他买单

都市快报橙柿互动
2026-10-17 01:01:15
曝沂蒙大网红去世!陪妻子透析六年,国庆节还在发视频,太可惜

曝沂蒙大网红去世!陪妻子透析六年,国庆节还在发视频,太可惜

白面书誏
2026-10-17 15:21:32
成都打人宝妈后续凄惨:曝婚姻破裂,家人冷漠,本人摆烂害了孩子

成都打人宝妈后续凄惨:曝婚姻破裂,家人冷漠,本人摆烂害了孩子

青梅侃史啊
2026-10-17 07:08:43
马斯克向特朗普提议对星盾限速,但特朗普和马斯克敢做不敢认!

马斯克向特朗普提议对星盾限速,但特朗普和马斯克敢做不敢认!

山河路口
2026-10-17 09:14:13
上海一女子沉迷自制酵素12年,75公斤一桶堆满屋,邻居慌了:楼板扛得住吗?

上海一女子沉迷自制酵素12年,75公斤一桶堆满屋,邻居慌了:楼板扛得住吗?

环球网资讯
2026-10-17 08:26:07
1死2伤!上海徐浦大桥多车相撞,白车抢道酿成大祸,“白车是否主责”成舆论焦点

1死2伤!上海徐浦大桥多车相撞,白车抢道酿成大祸,“白车是否主责”成舆论焦点

火山詩话
2026-10-17 15:34:17
2026-10-17 20:51:00
雷峰网 incentive-icons
雷峰网
关注智能与未来!
71309文章数 656260关注度
往期回顾 全部

科技要闻

刘煜辉:99%的黄金分析师报告一钱不值

头条要闻

男子服刑七年 出狱后发现账户里数十万资金仅剩6.43元

头条要闻

男子服刑七年 出狱后发现账户里数十万资金仅剩6.43元

体育要闻

高级货,真高级

娱乐要闻

庾澄庆罕谈前妻 撕下伊能静仅剩的体面

财经要闻

新一轮大跌源头,找到了!

汽车要闻

特斯拉会飞?全新Roadster亮相

态度原创

本地
亲子
艺术
游戏
教育

本地新闻

因新荣记出圈,这座浙东小城才是吃货天堂

亲子要闻

顺产还是没有顺手快呀

艺术要闻

投资39亿!上海大歌剧院今日启幕,螺旋平台向公众开放

动视称《现代战争4》登陆Switch 2会扩大受众

教育要闻

云南这所乡村小学把成长种在大地上

无障碍浏览 进入关怀版