网易首页 > 网易号 > 正文 申请入驻

让触觉像视觉一样可规模化,哥大李昀烛团队 FlexiTac 的开源实践 | IROS 2026

0
分享至


FlexiTac压阻式传感器可兼顾柔性、低成本与一致性。

作者丨向欣

编辑丨岑峰

机器人的视觉能力正快速增强,但触觉仍然是具身智能系统中的薄弱环节。尤其是在精细操作场景中,当物体被遮挡、透明、易碎,或需要精确判断接触力与手内姿态时,仅靠视觉往往难以确认机器人是否真正抓稳了物体、是否发生了滑移,也难以实现可靠的力控与顺从交互。

与图像领域已经形成相对统一的传感器和数据体系相比,触觉研究尚未形成类似的「收敛」。不同实验室往往使用不同类型的触觉传感器,但它们都面临寿命、柔性、多维信息感知、分辨率、成本与一致性难以同时兼顾的困境。这使得触觉数据采集、算法研究以及不同系统之间的复现都变得更加困难。

如何让触觉像视觉一样,成为一种可以被更多机器人使用、被大量采集、被算法反复利用的基础感知能力?

针对这个问题,哥伦比亚大学李昀烛团队提出了开源柔性压阻式触觉传感器平台FlexiTac。在本届 IROS 2026 的触觉专题研讨会上,李昀烛系统介绍了这一平台开源一年半后的进展与生态。

FlexiTac 是一套低成本、开源、可扩展的压阻式柔性触觉传感器,团队同时开源了完整 BOM、详细组装说明以及用于读取触觉数据的软件。

FlexiTac 采用 FPC 与力敏薄膜层叠结构,组装仅需 3 分钟,可弯曲、裁剪并包裹于不同几何表面,适配手套、指尖或机器人皮肤等多种形态。

其核心优势在于成本低、制作简单、高度柔性与可扩展、以及较好的长期稳定性和批次一致性,感知机制也足够简单,易于用弹簧-阻尼系统实现高保真仿真。

其技术栈可集成进主流的机器人学习框架中,门槛低到拥有即使是本科生,只要拥有一台可打印 SO-100 机械臂的 3D 打印机,也能轻松把触觉传感器装上机器人。

李昀烛提到,开源约一年半以来,FlexiTac 已在学术界与工业界获得广泛采用,衍生出多模态策略、可变形世界模型、四足移动-操纵、VLA 触觉反馈等多方向工作,他们与普渡大学合作的多指灵巧操纵工作 VTAP Gripper 还入围了本次 IROS 最佳论文奖。Analog Devices(ADI)正在推进其商业化版本,该版本触觉分辨率达到人类手指的五倍,基于半导体制造工艺量产。

以下为李昀烛在 IROS 2026 演讲的精编稿,AI科技评论基于原英文内容进行了不改原意的翻译编辑:

01


3 分钟组装、本科生可用

为了让传感器易于生产、成本低廉,我们最新的版本制造成本其实已经非常低,具体多低,取决于你同一批次生产多少片。

准备好所有物料后,你只需要花 3 分钟就可以把传感器装配完成,传感器随即就能投入工作。

我们这套方案是完全开源的:完整的物料清单,还有非常详尽的分步装配说明,同时也配套了可以读取、传输传感数据的对应软件。

除了传感器和配套软件本身,我们也还把这套软硬件技术栈集成到非常流行的机器人学习框架 LeRobot 里。

这样一来,任何人,哪怕只是本科生,只要手头有能够打印出低成本 SO-100 机械臂的 3D 打印机、都可以轻松地把我们的触觉传感器集成进去,然后开展相关研究,探索触觉感知如何帮助机器人理解手内物体状态,完成复杂操作任务。

在我们开源这套传感器大约一年半之后,我们欣喜地看到,这项技术已经在学术界与工业界得到广泛应用。

更让我们振奋的是,大家正在沿着不同方向继续推进、拓展整个生态:如何制造更好、能力更强的硬件;如何基于我们的触觉传感器构建更好的感知、学习和推理系统;以及如何设计真正包含触觉的大规模数据采集流程。


我们也在与亚德诺半导体(Analog Devices,ADI)展开合作,由他们开发这款传感器的商业化版本。 他们已经在多场会议上演示了商业化样机,其中就包括 GTC 大会,演示内容是一些很有代表性的机器人操作任务。

大家可以访问我们的项目网站,查阅硬件、软件方向的各类学术与产业应用成果。


02


核心优势:可扩展、柔性、一致性

但话说回来,我们这款传感器只是众多触觉传感方案的其中一种方案。

触觉领域常常被诟病的一个问题是,整个领域至今未形成统一标准。和发展成熟的计算机视觉不一样,不同实验室往往采用完全自研、互不兼容的触觉传感器。


所以,我们的传感器有几个比较重要的优势。

第一是可扩展性。它既可以做成大面积,也可以做成小尺寸。

第二是柔性。它就像一张纸,可以弯折、裁剪,还可以包覆在各种异形曲面结构上。

第三是高度可定制化。我们内部已经完成原型验证,可以把传感器定制成触觉手套、指尖传感器、机器人皮肤等多种形态。

另一项优势是一致性和鲁棒性,可以从两个维度来看。

第一个维度是时间维度:信号会不会随时间发生漂移,即长期的稳定性。

这里举一个实例:我的学生 Binghao 主导了很多相关工作,他 2024 年夏天在实习期间,为录制视频制作了四块传感器。 时隔一年半之后,直接使用这套传感器,用一年前采集的数据训练出来的模型依然可以正常工作。

第二个维度是不同批次制备之间的一致性:不同批次加工出来的传感器,输出信号能否保持一致。

这是很多触觉传感器的痛点,尤其是结构中包含橡胶材料的传感器;而我们这款传感器在这一点上表现出不错的一致性。

我们也正和亚德诺半导体合作,探索如何规模化生产这类传感器。

03


优异的仿真适配能力

我们触觉传感器的另一个关键优势是仿真适配性。

我们可以很方便地把这款触觉传感器接入仿真环境,借助仿真做规模化算法迭代。

下面我要介绍的后续工作正是基于这一点。因为传感机制简单,仿真实现只需要构建一个简单的弹簧‑阻尼系统,只需要标定 3 个超参数。


左边是真实物理交互场景,后方屏幕可以看到触觉信号的实时可视化;右边是仿真环境,运行完全相同的策略,执行相同任务。

不仅状态演化过程高度吻合,仿真端屏幕输出的触觉信号也和真实信号匹配度很高。

当然,你可能会说,这只是定性结果。那么定量结果表现如何?

我们的做法是,先在真实环境中采集一批随机交互数据,然后把真实环境里的交互动作在仿真环境中复现回放。

然后,我们分别收集真实环境和仿真环境得到的全部触觉数据,并绘制成直方图。

标定工作的核心目标就是对齐这两组直方图,而二者实际对齐效果非常理想。


这和计算机视觉里白平衡校准是相通的思路。

这里我想特别强调一点:仿真与真实对齐得越精确,你在仿真中需要做的随机化就越少,sim-to-real 的迁移也会越精准。

所以,在仿真环境中,我们可以进行大规模随机化,然后把训练出来的策略迁移回真实环境。


同样的框架也可以应用到不同本体的机器人上。我们在实验室的双臂装配任务中进行了验证,也在英伟达的人形机器人上使用了同样的 sim-to-real 迁移框架,让机器人完成类似的任务。

04


真实数据规模化:

给 UMI 补上缺失的触觉

接下来,我想讲的是如何实现真实世界数据的规模化采集。

很多人应该都熟悉 UMI 这套手持遥操作设备,它被用于野外场景的数据采集。

用过 UMI 夹持器的人应该会注意到:设备内部的机械弹簧会给人类操作者提供触觉反馈,但原版 UMI 的设计只会记录精准的位姿跟踪信息,并不会存储这套触觉反馈。

接入我们的触觉传感器恰好补上了这一短板。它可以间接把人类操作者感受到的触觉反馈,记录为传感器输出的触觉信号。

借助这套改造后的手持设备,我们可以到各类不同场景完成大规模数据采集。

采集到的数据可以同时包含视觉和触觉信息,而且两者是时间同步的。去过哥伦比亚大学校园的同学或许能认出其中部分场景。


我们拿到视觉‑触觉配对的同步数据之后,可以用来做预训练,也有人称之为中间训练,取决于工作流的定义。

之后,我们还可以继续采集遥操作数据,用于机器人策略的后续微调训练。

这个案例是一项实验室自动化任务:机器人需要对试管做姿态重定向,过程中会有人为施加外部扰动。机器人必须持续调整试管姿态,才能够完成插入操作。 右侧是策略模型的输入,包含腕部相机图像以及触觉传感信号。

经常有人提出一个问题:既然已经有腕部相机,我们还需要触觉吗?腕部相机的信息难道还不够用吗? 这个任务就是很好的反例。

如果试管是透明物体,仅依靠腕部相机,很难精确判断试管的姿态与位置;但下方的触觉信息就可以对机器人手内物体的状态做出精准估计。

除此之外,我们还完成了很多其他任务:比如铅笔在手内姿态调整、把铅笔插入卷笔刀;还有需要精准力控的任务:控制夹持器张开吸取液体,但又不能张得过大导致玻璃器皿脱落;还有经典的恒力控制任务,比如白板擦拭。


以上就是我们目前一直在做的诸多工作。

我们从一套已经发展数十年的简易传感机理出发,尽最大努力把这套传感器推广给更多研究者,我们把这件事情称为「让触觉感知大众化」。

我们在努力地推进这件事情,看到这套传感方案被广泛采用,也由衷感到高兴。

而在 AI 的世界里,我们也一直在思考如何通过仿真、真实物理环境两条路径,把触觉感知的规模进一步做大。而这一切仅仅只是开始。


在此基础之上,我们实验室还在推进多条技术路线。

其中一项工作是与普渡大学的合作者共同完成的。我们不再只使用单一类型触觉传感器,而是把不同类型的触觉传感器结合起来,包括我们实验室的压阻式传感器,以及基于视觉的触觉传感器,并把它们集成到多指夹爪中,实现高灵巧度操作任务。

这篇论文会在本次 IROS 上进行报告,同时也是最佳论文奖的入围作品之一。如果各位对该方向感兴趣,欢迎和我们交流。


我们实验室另一项重要工作围绕世界模型展开。如大家所料,我们也在探索如何将触觉感知融入世界模型。

大家现在看到的是基于动作条件的交互式 3D 视频预测,全程没有用到物理仿真,全部由真实数据训练得到。 这套模型可以输出帧率 15fps、同时包含视觉点云与触觉点云的预测结果。


仔细看指尖部分可以发现:在三维空间中,触觉点云可以和物体底层几何结构实现很好的对齐。 模型还可以识别滑移:当两件物体对位不够好时,可以检测到滑移现象;当试管和支座对位精准,就可以完成插头插入试管的动作。

触觉预测与视觉预测可以很好地协同对齐,这对于手内物体状态测量、估计这类高精度任务至关重要。

我的报告到此结束,欢迎大家提问。

05


Q&A 问答环节

▎听众 A:我有一个关于触觉传感器切向力的问题。首先,你们的传感器能否测量切向力? 其次,如果本身不做切向力测量,背后是什么原因?切向力对策略的成功是否重要? 另外,在 UMI 数据集里,触觉传感器是如何生成动作标签的? 如果去掉UMI内部的机械弹簧结构柔顺机构,触觉到动作标签的映射还能否正常工作?

李昀烛:这些问题非常好。

第一个问题关于剪切力:压阻材料本身并不能直接测得剪切力。 但我们发现,如果传感器的空间分辨率、时间分辨率足够高,就可以对剪切力做近似估计。 我们亚德诺半导体的合作团队正在提升传感器分辨率,我记得目标分辨率至少是现有版本的 5‑7 倍。 他们发现在传感器表层覆盖一层极薄的软材料,材料发生形变之后,就可以实现对剪切力的近似估算。 读取触觉数据的时候,即便处于静态剪切状态,你也能看到力分布发生偏移;动态剪切当然也可以捕捉。

所以我们认为,在传感器设计中引入剪切力测量拥有巨大研究潜力。他们已经有两篇相关论文被 CORAL 会议接收,会在 CORAL 做报告。其中一篇专门研究如何用压阻材料检测滑移。

你的第二个问题,关于把传感器集成到 UMI 夹持器: 对于触觉可以发挥巨大价值的任务,尤其是需要柔顺特性、力级推理与力控操作的场景,触觉感知会起到至关重要的作用。

这也是为什么我们的传感器和 UMI 夹持器兼容性很好:夹持器的手指本身具备柔顺特性,同时内置机械弹簧,给夹持机构带来柔顺能力。 我坚信,对于现实世界绝大多数有价值的机器人任务,这种柔顺特性都是必不可少的。谢谢。

为了方便大家抱团交流、互通会议消息,我们专门建了IROS2026参会交流群!进群你会解锁这些「福利」

  • 会议情报站:投稿 DDL、格式规范、评审进度……关键节点第一时间送达,再也不怕错过 deadline,投稿准备稳稳的。

  • 同行茶话会:天南海北的同行都在群里,聊心得、碰思路、攒人脉,科研路上我们同行。

  • 前沿补给站:最新研究成果、热点方向实时同步,结合会议主题帮你捋清投稿脉络,给论文灵感加满油。

  • 现场后援团:(会议期间专属开启):到了会场也不用慌——

    路线导航:场馆分布、报告厅怎么走,群里随时问;

    议题共读:热门 session、Keynote 探讨,错过也能追;

    Poster 汇编:现场海报精华整理,一键收藏不遗漏;

    约局广场:约饭局、采访局、交流局……想唠嗑、想合作、想面基,群里发起就成。

进群传送门:扫码进群或添加微信Luyoyo_2026,备注:ECCV + 单位/学校+姓名+方向。

搞科研/搞技术,信息差很重要。

来,一起快人一步!

上车,带你看遍全球 AI 顶会精华

可独家畅览:

专家演讲PPT

大会报告全文

热门论文解读

学术新星访谈

未经「AI科技评论」授权,严禁以任何方式在网页、论坛、社区进行转载!

公众号转载请先在「AI科技评论」后台留言取得授权,转载时需标注来源并插入本公众号名片。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
相差200亿!OpenAI营收被爆巨大预期差,AI板块遭重创,甲骨文跌逾5%,应用光电暴跌13%

相差200亿!OpenAI营收被爆巨大预期差,AI板块遭重创,甲骨文跌逾5%,应用光电暴跌13%

华尔街见闻官方
2026-10-09 05:26:13
8岁女孩在家写作业,遭男邻居拖到床上猥亵,10余天后妈妈发现异常报警;男子写悔过书,庭审时却翻供,最终获刑10年6个月,案情披露

8岁女孩在家写作业,遭男邻居拖到床上猥亵,10余天后妈妈发现异常报警;男子写悔过书,庭审时却翻供,最终获刑10年6个月,案情披露

南方都市报
2026-10-08 23:29:23
王励勤没想到,莎莎和大头的接连落败,竟让刘国梁口碑暴涨,开始怀念他了?

王励勤没想到,莎莎和大头的接连落败,竟让刘国梁口碑暴涨,开始怀念他了?

乒乓助手
2026-07-24 01:36:03
中欧会谈倒计时72小时!英拟征45%关税,中方反制商品跌价6成

中欧会谈倒计时72小时!英拟征45%关税,中方反制商品跌价6成

麓谷隐士
2026-10-09 00:40:04
浙江一对夫妻冷战7天,妻子发短信:“喂,死了没?”谁料,丈夫回复让人泪目!

浙江一对夫妻冷战7天,妻子发短信:“喂,死了没?”谁料,丈夫回复让人泪目!

人间颂
2026-10-07 12:22:20
弘一法师:人一旦死了,生前的衣服、手表,睡过的床,都会处理掉

弘一法师:人一旦死了,生前的衣服、手表,睡过的床,都会处理掉

富书
2026-09-29 23:40:05
阿隆索捡到宝!切尔西 5800 万水货涅槃重生!齐达内点名盛赞

阿隆索捡到宝!切尔西 5800 万水货涅槃重生!齐达内点名盛赞

澜归序
2026-10-09 08:46:40
杀妻煮熟放冰箱,拘禁强奸妻子同事三天,河南安阳杀妻碎尸案纪实

杀妻煮熟放冰箱,拘禁强奸妻子同事三天,河南安阳杀妻碎尸案纪实

易玄
2026-10-08 13:56:24
2026诺贝尔文学奖揭晓!为什么是她?

2026诺贝尔文学奖揭晓!为什么是她?

上观新闻
2026-10-08 19:27:54
国庆结束,娱乐圈传3大噩耗!64岁演员离世,60岁洪剑涛让人揪心

国庆结束,娱乐圈传3大噩耗!64岁演员离世,60岁洪剑涛让人揪心

冷紫葉
2026-10-08 14:06:58
詹皇1投砍10分!布朗轰18分,76人不敌鱼腩,大帝6分8失误太辣眼

詹皇1投砍10分!布朗轰18分,76人不敌鱼腩,大帝6分8失误太辣眼

你的篮球频道
2026-10-09 10:07:53
差3球追平C罗,梅西退役前还有9件事没做完

差3球追平C罗,梅西退役前还有9件事没做完

元气满分吖
2026-10-08 23:23:23
不查不知道一查吓一跳!44岁一家人住北京豪宅的陈婷,私下有多壕

不查不知道一查吓一跳!44岁一家人住北京豪宅的陈婷,私下有多壕

冷紫葉
2026-09-19 12:41:16
最吉利的数字,根本不是8也不是9,真正的顶级吉数,藏着大智慧

最吉利的数字,根本不是8也不是9,真正的顶级吉数,藏着大智慧

普陀动物世界
2026-10-09 01:10:48
午评|进入熊市!A股再创新低!要跑吗?

午评|进入熊市!A股再创新低!要跑吗?

龙行天下虎
2026-10-09 11:49:37
生在美国长大却放弃美籍,坚持做中国人,直言只为中国而战!

生在美国长大却放弃美籍,坚持做中国人,直言只为中国而战!

大运河时空
2026-10-09 07:25:05
五千万啃光!马蓉从阔太沦落澳洲超市夜班,出门捂脸不敢见人

五千万啃光!马蓉从阔太沦落澳洲超市夜班,出门捂脸不敢见人

皮蛋儿电影
2026-05-14 09:59:14
杭州地标酒店打包上市,普通人也能当 “房东”!老板是74岁萧山人,曾在港交所“两进两出”

杭州地标酒店打包上市,普通人也能当 “房东”!老板是74岁萧山人,曾在港交所“两进两出”

都市快报橙柿互动
2026-10-09 00:44:42
事态已经全面升级!赖清德有可能成为新中国历史上,唯一一位在任台湾地区领导人中出现重大变故的人物

事态已经全面升级!赖清德有可能成为新中国历史上,唯一一位在任台湾地区领导人中出现重大变故的人物

人生录
2026-09-11 00:05:21
太离谱!男子移民美国,半年狂捞3650万美元!钱多得花不完,却只住60万的房子打掩护

太离谱!男子移民美国,半年狂捞3650万美元!钱多得花不完,却只住60万的房子打掩护

华人生活网
2026-10-09 05:29:41
2026-10-09 13:59:00
AI科技评论 incentive-icons
AI科技评论
点评学术,服务AI
7696文章数 20789关注度
往期回顾 全部

科技要闻

字节"干扰模型训练"实习生融资近2亿元

头条要闻

被批贪婪无度的陈伟俊被公诉 曾是浙江最年轻的副省长

头条要闻

被批贪婪无度的陈伟俊被公诉 曾是浙江最年轻的副省长

体育要闻

30天30队·鹈鹕:胖虎又一年“如果”

娱乐要闻

蔡康永回应,装都不装了!

财经要闻

日薪120元,我给机器人当“老师”

汽车要闻

不想改车又不想撞衫 来看看小鹏P7+的黑武士版

态度原创

家居
艺术
数码
健康
教育

家居要闻

2026建博会(广州) 公装联探展交流活动

艺术要闻

苏州第二高楼突破100米,“移动造楼工厂”显威力!

数码要闻

一次洗130件餐具!米家18套洗碗机开售 七星级除菌

痘坑留下后,还能填平吗?

教育要闻

到2027年,将培育20个标杆!北京城乡学校共同体建设方案发布

无障碍浏览 进入关怀版