北大、BIGAI重磅推出TacThru传感器 触觉视觉突破操作精度飙升

在机器人操作的世界里，"看得见"和"摸得着"一直是两个难以兼顾的核心需求。视觉传感器能捕捉全局环境信息，却在物体遮挡时失灵；触觉传感器能感知接触细节，却无法预判接触前的状态。

近日，北京大学、北京通用人工智能研究院等机构的研究团队推出的TacThru传感器，该传感器能够同时实现触觉与视觉感知，让机器人在精细操作和接触密集型任务中展现出超高精准度。

▍传感器界的"透视眼"：透明设计实现双感知同步

传统的视觉触觉传感器（VBTS）要么只能二选一工作，要么在复杂背景下追踪失灵，严重限制了机器人的操作能力。TacThru使用了三个创新设计，巧妙解决了上述问题。

通过同步触觉-视觉感知学习多模态机器人操作

首先是材质方面，团队选择全透明弹性体材质。不同于传统传感器的半透明或不透明涂层，TacThru采用完全透明的弹性体，配合持续的LED照明，让内置摄像头既能"看穿"弹性体观察外部环境和物体，又能捕捉内部的触觉信号。这种设计摒弃了繁琐的模态切换机制，实现了真正意义上的同步感知。

TacThru 传感器的制备及其与 TacThru-UMI 系统的集成

其次是创新的"关键线标记"（Keyline Markers）。研究团队设计了由黑色内圈（半径0.6mm）和白色外圈（半径1.0mm）组成的同心圆标记，即使在复杂背景下，内圈的"关键线"也能保持清晰可见。

关键线标记设计与滤波实现稳健追踪

最后是高效稳健的追踪算法。通过卡尔曼滤波技术，TacThru能精准追踪64个标记点的位移，计算出剪切力等关键触觉信息，每帧处理时间仅需6.08毫秒，足以支持120Hz的高频感知和实时操作。实验显示，在抓取带有复杂黑白纹理的塑料瓶时，传统实心标记会完全失效，而TacThru的标记追踪成功率保持100%，且无虚假检测。

值得一提的是，TacThru完全兼容标准VBTS制造流程，仅需更换弹性体材料即可集成到现有系统中，大大降低了实际应用门槛。

▍支持模仿学习框架让传感器"学会"灵活运用双感知

有了强大的传感器，如何让机器人高效利用这些多模态信号？研究团队开发了TacThru-UMI模仿学习框架，将TacThru传感器与基于Transformer的扩散策略（Diffusion Policy）相结合，构建了一套端到端的学习系统。

TacThru-UMI 的扩散策略架构

该框架的核心在于多模态信号的智能融合。系统同时接收四种输入：手腕摄像头的全局视觉信息、TacThru的近距离视觉图像、标记点位移产生的触觉数据，以及机器人的本体感受信息。通过DINOv2视觉编码器和专用MLP网络，这些异质信号被编码为统一的特征令牌，再由Transformer模型动态分配注意力权重，根据不同场景智能选择依赖视觉还是触觉信息。

在数据采集阶段，团队设计了低成本的硬件平台，传感器通过USB实时传输图像，配合HTC Vive Tracker实现稳定的姿态追踪，所有数据以Zarr格式同步存储，为模型训练提供高质量数据支撑。整个系统的硬件成本控制在280美元左右，具备大规模部署的潜力。

▍五大任务实测85.5%平均成功率成功超越传统方案

为了验证系统性能，研究团队在五个典型机器人操作任务中进行了全面测试，涵盖拾取放置、精细分拣、精密插入等不同场景，并与纯视觉、传统触觉等基线方案进行对比。

五种操作场景的任务演示

在基础的"拾取瓶子"任务中，所有方案都取得了95%以上的高成功率，验证了TacThru-UMI框架的基础操控能力。而在更具挑战性的任务中，其优势则完全显现：

在"抽取纸巾"任务中，薄软的纸巾无法产生足够的接触力让传统触觉传感器检测到，纯视觉方案因分辨率不足成功率极低，而TacThru通过近距离视觉观察，能实时捕捉纸巾的位置和形变，即使出现打滑也能迅速触发重新抓取，成功率远超其他方案。

不同传感模态下的螺栓分拣性能分析

"螺栓分拣"任务要求区分三种外形相似但颜色或头部形状不同的M12×25螺栓。全局摄像头无法分辨这些细微差异，传统触觉传感器也无法区分颜色，而TacThru的近距离视觉感知能捕捉到毫米级的几何特征和颜色差异，使分拣成功率达到85%，远超传统方案的45%。

"悬挂剪刀"任务则考验触觉感知的精准性。由于深度信息缺失，视觉无法判断剪刀是否成功挂在钩子上，而TacThru通过标记点位移感知到的剪切力变化，能准确识别任务完成状态，成功率超过80%，是纯视觉方案的两倍多。

最能体现多模态融合优势的是"瓶盖插入"任务。当瓶盖与安装座的接口可见时，系统优先使用视觉伺服实现精密对齐；当抓取动作造成遮挡时，系统无缝切换到触觉引导模式，通过接触力反馈调整姿态，最终实现90%的超高成功率，展现出自适应不同场景的强大能力。

不同操作任务与传感模态下的定量结果

综合五个任务的表现，TacThru-UMI的平均成功率达到85.5%，相比纯视觉方案（55.4%）提升54.3%，相比交替式触觉-视觉方案（66.3%）提升29.0%，在薄软物体操作、精细识别、精密装配等关键场景中表现尤为突出。

▍机器人操作正式从单感依赖到多感协同迈进

TacThru的突破不仅在于技术层面，更构建了一种新的机器人操作范式。传统机器人操作往往依赖单一传感模态，或需要复杂的逻辑切换来协调多模态信息，而TacThru通过同步感知和智能融合，让机器人自然习得"该看时看，该摸时摸"的操作智慧。

这种范式转变带来了三大核心价值：一是扩展了机器人的操作边界，使薄软物体等传统难题成为可能；二是提升了操作的鲁棒性，在遮挡、光照变化等复杂环境中仍能稳定工作；三是降低了应用门槛，兼容现有制造流程和视觉处理管道，无需大规模改造即可集成。

研究团队表示，未来将进一步通过大规模数据采集和触觉仿真，训练更专用的特征编码器，并探索更复杂的灵巧操作任务。随着这项技术的成熟，机器人有望在工业装配、医疗辅助、家庭服务等领域实现更精准、更灵活的操作，离真正的智能化又迈进了一大步。

论文链接：https://arxiv.org/abs/2512.09851

项目地址：https://tacthru.yuyang.li/