网易首页 > 网易号 > 正文 申请入驻

机器人也需要“手感”:帕西尼谈触觉、数据与物理AI|硅谷101年度线下大会

0
分享至

过去几年,机器人“大脑”越来越聪明,但要真正走进现实世界,还差一样很重要的东西:像人类一样的触感,能感知物体,理解接触时的受力变化。


那么,如何让机器人真正拥有感知和理解物理世界的能力?接下来,就让我们回到ALIGNMENT 2026大会现场,看看帕西尼(PaXini AI)的创始人兼CEO许晋诚博士如何理解Physical AI的发展方向,以及机器人还需要突破哪些技术瓶颈。

本文为视频改写,欢迎大家收看以下视频


许晋诚:今天的主题是物理AI的PIE。对大家来说,PIE可能只是一种食物,但在这里,它指的是机器人需要具备的几项重要能力。


很多人觉得我们公司的名字很有意思。他们会问,为什么叫帕西尼(PaXini)?这是因为人体皮肤里有四种不同类型的触觉感受器,其中一种负责感知纹理和高频振动,就是帕西尼小体。我们想研发出一种像帕西尼小体一样的传感皮肤,这也是我们取名帕西尼的原因。


手指上的触觉感知非常重要。一只手拿着装满水的杯子,另一只手拿着一个鸡蛋,我们能凭触觉判断该怎样握持。大脑处理手指获得的大量触觉信息,帮助我们控制力度,让鸡蛋既不滑落,也不被捏碎。所以触觉感知,是人体与物理世界互动的重要一环。

我们是一家全球领先的具身感知驱动通用智能的企业。我们的产品不仅应用在机器人上,也应用在汽车和其他领域,同时也帮助大型企业制造自己的机器人或自动化设备。对于未来的机器人,我们注意到各个大型企业都非常关注物理AI,也意识到触觉感知信息对机器人本身极其重要。


许晋诚:当我们思考如何与物理世界互动时,也同样思考智能如何存在于物理世界中?这同时又带来更多问题:如果AI能够思考,它能理解物理世界吗?


比如这张图,一个人在清洁地板,机器人也在清洁地板。机器人做着完全相同的动作时,它真的理解自己在做什么吗?我们清洁地板时,需要通过操作中的力觉反馈,感知吸尘器吸嘴是否与地面充分接触,并及时调整下压力度,才能有效清洁地面。机器人是否真的理解这个动作,仍然值得怀疑。

所以,缺乏物理理解的智能是不完整的。机器人从知道怎么做,到实际去做,再到可靠地做到,这中间仍然存在很大的鸿沟。

所以我们想问:下一代AI应该是什么样的?它们不应该只是理解指令,也不应该只是对提示词作出反应,它们还需要与世界互动,让事情发生或带来改变。

不仅如此,世界并不是由像素构成的,我们并不只是用摄像头观察一切。所以,现实不仅是我们看到的,也包括我们触摸、感受和改变的东西。我们公司要做的,就是进一步推动AI的发展,让AI真正理解物理世界。


这段动图演示的是,当机器人利用触觉传感器进行操作时,是能感受到自己是如何抓住吸嘴、如何抓取灯泡等物体的。

我们认为,AI必须超越观察,应该在看到之后还要作出反应,或与之互动。为了从观察走向互动,我们做了很多这样的实验,希望机器人从被动感知走向主动理解物理世界。只有这样,机器人才能从现实中学习。


许晋诚:智能需要的远不止文本这样的知识,也需要更多经验。什么是经验?其实就是人类数据。机器人可能知道杯子是什么,知道杯子是一个圆柱形的物体。但它知道该如何抓住杯子,或怎么与它互动吗?也许不知道。经验教会我们,也教会机器人如何行动和操作物体。


如果我们希望获得更多经验,就需要建立一个经验层,为机器人或物理AI提供经验,因为我们需要感知世界。图上所展示的,是我们数据工厂里的一个流程。人观察物体、与它互动,然后拿起瓶子,我们就能获得与这类物体互动的数据。我们要建立这样的AI或机器人数据基础,让机器能够从物理世界学习,这是非常重要的一层。


每一次互动,都是向物理世界学习的机会。不局限于固定地点的数据工厂采集数据,我们也希望机器人能在任何地方学习。所以我们提供了这样的设备,让大家在自己家里教机器人。我们希望抓住每个教机器人的机会,这就形成了数据驱动的物理智能飞轮。

把物理互动转化为智能,也是关键之一。


动图上所演示的是我们的一款手套,我们用它来教机器人。这并不是遥操,我们用这些数据训练一个小模型,它就能够非常精确地完成动作。

所以,感知能力非常重要,无论是对触觉信号本身的感知,还是与各种物体的交互,都是如此。通过学习,成功率能够大幅提升,这适用于机器人执行的各种任务。

如果我们有了这样的实验,并让机器人从中学习以后,该如何建立评测基准?或者说,该如何评估机器人完成的任务是否符合人类的需求?一个很简单的方法,就是看机器人能否处理以前从未遇到过的事物,比如它从未见过或从未操作过的物体。


如果机器人能够处理这些物体,就说明它能在现实世界中展现智能。现实世界才是对机器人的终极考验,最重要的是让机器人和物理AI以可衡量的真实世界交互为基础。这就回到了我们的PIE,也就是让智能与现实相结合。


许晋诚:接下来,我想进一步介绍我们的PIE。很多人会问,什么是PIE?是苹果派,还是菠萝派?


P是perception(感知),I是intelligence(智能),E是execution(执行)。对每一个机器人来说,这三种能力都必不可少。通过帕西尼的PIE,我们能为机器人创造更多可能。

首先,我想介绍感知这一部分。图上展示的是一只搭载触觉传感器的灵巧手,指尖正捏着一根细针,当人轻触这根针时,指尖的触觉传感器能够迅速感知到外部接触及受力变化,驱动灵巧手作出后撤反应。如果机器人具备感知能力,那它就不只会完成一个简单的捏取动作,而是能够感知外界的接触,并与人安全交互。


我们的感知能力基于自研传感器芯片,通过GEN FUSE传感器芯片架构,我们可以开发各种产品,比如机器人指尖传感器、触觉传感器,还有汽车和其他应用中的传感器。

目前,我们在机器人上有各种产品,比如关节上的扭矩传感器、末端执行器上的六维力/力矩传感器,以及用于指尖、手掌、机器人皮肤甚至脚底的触觉传感器。有了这些技术,我们就能让每个机器人具备全身的物理感知能力。

这项技术还有很大的潜力,有望满足我们尚未知晓的需求。最近有很多客户来找我们,希望在机器人上安装不同类型的传感器。有些应用我们以前从未见过或听说过,机器人公司的这些需求也令人惊喜。


再说智能这一部分。我们建立了数据工厂,这是帕西尼的重要项目。现在,我们已经能够获得超过100万小时的高精度人类数据,其中包含触觉感知信息。这个数据库叫OmniSharing DB,大家感兴趣的话,可以直接到我们的官网上查看。利用这些数据,开发各种场景的应用,比如仓库、家庭和工厂等。

依托这项技术,我们布局了五座数据工厂,这些数据可以用来做预训练、后训练,甚至终身学习,所以这类数据对机器人本身非常重要。


但有了这些数据,怎么让机器人从中学习?为此,我们开发了一个用于机器人的飞轮算法模型,来进行验证。这个模型叫Omni VTLA 2.0,通过这个模型,我们可以使用数据工厂生产的数据,也可以使用机器人自身产生的数据。机器人自己生成数据时,仍然可以用这些数据进行终身学习。


模型本身也能发挥非常重要的作用,或许能帮助机器人实现零样本泛化。所以我们开发了Feelix World,它能够对触觉感知信息进行编码,让机器人感知世界。这样一来,就能实现少样本,甚至零样本泛化。

我们仍然会使用语言信息,也会使用视觉信息和机器人自身的交互信息。除此之外,更重要的是触觉感知。我们会利用慢适应型和快适应型触觉信息,让机器人将这些触觉信息嵌入模型和算法之中。此外,我们还将这些模型应用到各种场景中。

接下来是PIE的最后一部分,执行,也是机器人最重要的能力之一。即使有完美的感知能力和出色的大脑,机器人也需要一个足够好的执行层,比如完整的机器人本体,以及机器人手这样的末端执行器。具备这些条件,机器人才能形成闭环,在现实世界中完成任务。


所以,我们要打造这样的执行层,设计各种不同类型的机器人手。对很多机器人公司来说,机器人手的设计都非常重要。对帕西尼来说,我们可以开源灵巧手的设计,提供给有需要的机器人公司。在设计方面,我们也在可靠性上做了很多改进。比如我们的主打产品之一,灵巧手DexH13,经过了大量测试,使用测试时间已经超过2万小时。经过这些测试,我们认为它仍是一款很有潜力的灵巧手。


许晋诚:最后,除了打造感知、智能和执行组成的PIE,我们也希望构建Platform(平台)、Integration(集成)和Ecosystem(生态)。


所以,我们有两种不同的PIE。一种是让机器人具备与物理世界交互的能力,另一种是建立良好的开放生态系统,让每个人都能拥有自己的机器人,用自己的技术成功开发机器人。

我们希望用一个PIE为未来创造无限可能,同时也希望每个人都能贡献自己的一份力量,构建自己的PIE,或共建我们的PIE。从技术的角度来说,我们希望每个人都能拥有自己的机器人,从而解放劳动力,在物理世界中享受更多乐趣。那些累人的工作和任务,可以让机器人去做。

希望大家喜欢我今天的演讲,非常感谢大家。

以上就是许晋诚博士在ALIGNMENT 2026大会现场的演讲内容。从感知接触和受力,到让模型学习,再到准确执行动作,许晋诚博士分享了帕西尼如何把这些工作连接起来,让机器人感知世界、理解世界,并真正作用于世界。

当机器人能够感知环境,并从一次次操作中积累经验,它们离真正承担更多工作还有多远?

注:部分图片来源于网络

【本期节目不构成任何投资建议】

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
年轻人不性交了?三联可能回避了真问题

年轻人不性交了?三联可能回避了真问题

熊太行
2026-11-17 12:47:34
一个神人,“崩”了孙正义900亿

一个神人,“崩”了孙正义900亿

大猫财经Pro
2026-11-17 15:39:07
这两天,网友们在围观一个叫玉芬的记者

这两天,网友们在围观一个叫玉芬的记者

清晖有墨
2026-11-17 12:40:13
红船观察丨王忠林被查,权威声音释放关键信息

红船观察丨王忠林被查,权威声音释放关键信息

红船融媒
2026-11-17 11:36:09
官宣!肇俊哲出任主教练!

官宣!肇俊哲出任主教练!

五星体育
2026-11-17 16:54:10
离人民越来越远了

离人民越来越远了

柴差说
2026-11-17 16:31:27
贺子珍始终认定朱道来是战乱之中失散的儿子,可朱道来后来坦言:过去他没有说出所有真相

贺子珍始终认定朱道来是战乱之中失散的儿子,可朱道来后来坦言:过去他没有说出所有真相

磊子讲史
2026-09-16 15:28:05
知情人爆料黄仁勋又一丑闻:他曾要求员工品尝食堂新上的牛腩,没人能拒绝

知情人爆料黄仁勋又一丑闻:他曾要求员工品尝食堂新上的牛腩,没人能拒绝

小徐讲八卦
2026-11-17 14:19:10
这次发射失败,美军有点慌了

这次发射失败,美军有点慌了

枢密院十号
2026-11-17 00:35:37
美国商务部和司法部联合发表声明,对新加坡Megaspeed公司的调查进展

美国商务部和司法部联合发表声明,对新加坡Megaspeed公司的调查进展

风向观察
2026-11-17 12:57:36
克里米亚大桥被炸,勒庞承诺如当选继续援乌

克里米亚大桥被炸,勒庞承诺如当选继续援乌

名人苟或
2026-11-17 14:46:21
突发!美国多家大银行集体崩了。。。

突发!美国多家大银行集体崩了。。。

云头条
2026-11-17 05:07:09
离称霸,字节只差一个聊天软件了!

离称霸,字节只差一个聊天软件了!

城事堂
2026-11-17 14:09:44
谁才是英伟达真正的主人?一张图看懂股东结构

谁才是英伟达真正的主人?一张图看懂股东结构

互联网大观
2026-11-17 15:16:16
U19国足梦幻开局!9分钟连入2球,苗润东5分钟闪击+1V3造点

U19国足梦幻开局!9分钟连入2球,苗润东5分钟闪击+1V3造点

奥拜尔
2026-11-17 19:51:04
蔚来向公安机关报案

蔚来向公安机关报案

极目新闻
2026-11-17 14:00:24
车间用纺织机器吹头发拍视频走红,次日被开除,网友:太作死了

车间用纺织机器吹头发拍视频走红,次日被开除,网友:太作死了

秒懂资讯
2026-11-17 16:58:55
时间定了,中方宣布安排,11月19日这一天,全世界都将拭目以待

时间定了,中方宣布安排,11月19日这一天,全世界都将拭目以待

铁锤侃侃而谈
2026-11-17 10:46:23
俄罗斯被曝将芬兰退出北约列为结束俄乌战争的条件之一,芬兰国防部长公开表示:没有谈判余地,俄罗斯心知肚明,提出这种要求简直荒谬至极

俄罗斯被曝将芬兰退出北约列为结束俄乌战争的条件之一,芬兰国防部长公开表示:没有谈判余地,俄罗斯心知肚明,提出这种要求简直荒谬至极

吉刻新闻
2026-11-15 18:22:34
普京来中国带上三大副总理,办完大事不急着回国,直奔中俄大后方

普京来中国带上三大副总理,办完大事不急着回国,直奔中俄大后方

巷北楠猫本尊
2026-11-17 16:13:32
2026-11-17 21:36:49
硅谷101 incentive-icons
硅谷101
从这里驶向未来
234文章数 126关注度
往期回顾 全部

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

健康
教育
旅游
时尚
艺术

情绪真能让健康人"伤心至死"?

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

旅游要闻

秋假遛娃剑门关,全程17000步,6个小时,喜提废腿体验!

自骂“烂人”的黄仁勋,冤不冤?

艺术要闻

漫天香氛,秋风醉人~杭州的秋天从不让人失望!13个地方,秒出大片!

无障碍浏览 进入关怀版