98年哈工大教授带队，破晓智能要把触觉写进机器人基础模型

机器人伸出食指，按向喷壶上的扳机。镜头里，指尖已经贴上去了，机器人也 “认为” 自己完成了动作，但水没有喷出来。

从画面上看，似乎一切都对。但问题在于，指尖只是碰到了按钮，却没有真正把它压下去。对摄像头来说，“手指贴在按钮上” 和 “按钮已经被按下”，可能几乎是同一幅画面；触觉却能直接告诉机器人：有没有接触、压在了哪里、力到底够不够。

瞄准这类 “看起来做对了，物理上却没完成” 的失败。破晓智能（PHANES AI）创始人、哈工大（深圳）长聘教授杨朔及其团队发布了最新论文 TouchWorld: A Predictive and Reactive Tactile Foundation Model for Dexterous Manipulation。

TouchWorld 让触觉同时承担两种角色：行动前，预测 “应该碰成什么样”；接触后，再根据真实反馈快速纠错。

在浇花、桌面清理、电源插头插入、杯子插入、擦锅、抽纸巾六项真机任务中，TouchWorld 在无额外干扰的场景下取得 65.0% 的平均成功率；加入目标移动、抓握干扰等人为扰动后，成功率为 57.2%，分别超过最强基线 15.7 和 16.0 个百分点。每项任务采集了 200 条遥操作训练轨迹，并进行了 100 次真机评测。

这项工作背后的杨朔，也是破晓智能（PHANES AI）创始人。

杨朔，破晓智能（PHANES AI）创始人、哈工大（深圳）长聘教授、博导

杨朔曾获 Google PhD Fellowship，是当届全球 9 位获奖者之一；博士阶段的工作入选 ICLR Best Paper Finalist，26岁回国任哈工大（深圳）长聘教授、博导，同年获评国家级青年人才。目前，他已经创立破晓智能，组建起一支数十人规模、覆盖数据、模型、机器人控制与硬件系统的具身智能团队。

TouchWorld 不是一次偶然的 “论文突袭”。

它背后，是杨朔团队从人类数据、触觉建模，一路推演到机器人灵巧操作的一整条技术路线；也是破晓智能第一次把这条路线较完整地摆到台前。

触觉既要 “预判”，也要 “反应”

TouchWorld 标题里最关键的两个词，是PredictiveReactive。一个负责预判。一个负责纠错。

所谓 Predictive，是让机器人在真正开始动作前，先预测：当这个子任务完成时，画面应该是什么样，手上的压力又应该是什么样。

TouchWorld 会多做一步。

当任务进行到 “按下喷壶扳机” 时，模型不仅预测一张未来画面，还会同时预测一张未来触觉图：具体是哪根手指应该产生压力，压力应该出现在指尖还是掌侧，接触强度大致应该达到什么状态。

这张触觉图，相当于给机器人设定了一个物理世界里的目标。

画面对了，不算完成。手指真正压出了预期的接触，才算完成。

这就是 TouchWorld 的预测能力：它让机器人提前知道，自己应该 “碰成什么样”。

不过，在现实环境里，知道目标还不够。

杯子可能比训练时放偏了几厘米；插头接触插座后可能稍微倾斜；灵巧手长时间运行后，关节可能因为发热、松动而出现误差；甚至在机器人执行过程中，人还会突然碰一下它的手，或者把目标物体挪走。

这时，如果每发生一点变化，都让上层大模型重新观察、重新推理、重新生成一整段动作，速度会太慢。

于是，TouchWorld 增加了 Reactive 路径。当机器人真正接触物体后，系统会持续读取最近的触觉信号和关节状态，在原本动作上叠加细小修正：手指往左偏一点，握力再加一点，手腕角度微调一点。

上层策略负责决定 “往哪走”。触觉反馈负责保证 “碰到之后别走偏”。

这很像人去拿一个湿滑的玻璃杯。大脑会规划手伸向哪里、用什么姿势抓住它；但真正碰到杯壁后，手指感受到杯子要滑，握力会立即调整。这个过程不需要人停下来重新思考一遍 “如何拿杯子”。

TouchWorld 做的，正是把这两种能力分开。

触觉不是只在失败后提醒机器人 “你碰错了”，而是同时参与行动前的目标预测，并在行动中的快速纠错。

TouchWorld 通过触觉世界模型预测机器人任务子目标。

为什么一个 VLA “吃不下” 触觉

按照常见思路，VLA 已经容纳了视觉、语言和动作，再加一份触觉数据似乎顺理成章。

但杨朔团队发现，触觉并不是一块可以直接拼进模型的 “新积木”。它和视觉的信息密度、出现时机与处理速度都完全不同。硬塞进同一个模型，结果很可能不是 VLA 学会触觉，而是触觉被视觉淹没。

触觉首先太稀疏：一个两分钟任务里，真正接触可能只有十几秒；图像是百万级像素，单手触觉却只有几百维。若与视觉、语言同频训练，模型很容易只靠视觉 “偷懒”。

更重要的是，任务规划、动作生成和接触纠错，本就不该共用一个时钟。因此，TouchWorld 没有继续做一个 “什么都管” 的统一模型，而是把系统拆成三个层级。

TouchWorld 因此将系统拆成三个时间尺度：1Hz 的高层负责拆解任务并预测视觉 — 触觉目标；10Hz 的中层根据目标生成主体动作；30Hz 的触觉反应层则根据实时接触和关节状态持续修正动作。慢规划、中速执行、快速纠偏，三层分别处理最适合自己的问题。

慢规划、中速执行、快速纠偏，三层分别处理不同时间尺度的问题。

TouchWorld 三层架构：高层规划并预测目标，中层生成动作，高频触觉反馈实时纠偏。

消融实验也证明，这种分层并非多此一举。完整 TouchWorld 在无扰动和人为扰动场景中的平均成功率分别为 65.0% 和 57.2%。拿掉触觉输入后，成功率降至 43.3% 和 30.0%；拿掉 30Hz 触觉修正层后，则降至 55.3% 和 40.3%，在目标移动或抓握受扰时尤其明显。

去掉 Tactile World Model，成功率降至 60.2% 和 51.2%；去掉子任务规划模块，则降至 55.5% 和 46.2%。

论文还有一个有意思的结果：经过任务阶段监督和记忆增强的 4B 子任务规划模型，准确率达到 91%，反而超过零样本 32B 模型的 84%。

这说明，在层级系统里，单纯把模型做大未必最有效。让模型知道任务进行到哪一步、之前做过什么，以及下一步是否能被下游策略执行，可能更加重要。

65% 的成功率当然还谈不上解决灵巧操作，但它至少证明：相比把触觉简单塞进统一策略，明确分开 “预测接触” 和 “根据接触快速反应”，确实更有效。

触觉从哪来，又怎么真正用起来

TouchWorld 不是从零开始的。早在这之前，杨朔团队就在围绕同一个问题往前推进：机器人要学会触觉，首先得有触觉数据；但真实的触觉数据太少，又该怎么把它规模化？

Touch 系列由此产生。团队先用 EgoTouch 把人类操作中的第一人称画面、手部姿态和双手压力同步采下来；随后又通过 TouchAnything 学习视觉与触觉之间的对应关系，让模型有机会从普通视频中推测接触位置和压力分布。

到了 TouchWorld，触觉终于从 “被采集、被预测”，走到了 “真正被机器人使用”：行动前，它用来预测应该形成怎样的接触；行动中，它又成为实时纠错的反馈信号。

这条路线的逻辑很清楚：EgoTouch 负责采，TouchAnything 负责从视频中恢复，TouchWorld 负责让机器人真正用上。

在解决 “触觉数据从哪里来” 之前，杨朔和他的团队就意识到，如今互联网上并不缺人类操作视频：拧瓶盖、切菜、拿杯子、使用工具，这些动作每天都在被相机记录下来。

但普通视频只能拍到手怎么移动、物体怎么变化，看不到手与物体接触时，掌心和指尖究竟承受了多大的压力。

为此，团队搭建了一套穿戴式采集系统：采集者头部佩戴第一人称相机，左右手腕各安装一台近距离相机，同时佩戴双手姿态追踪设备和密集触觉手套。一次操作会被同步记录成多路 RGB 视频、双手 3D 姿态，以及左右手的连续压力分布。

EgoTouch 第一人称视觉 - 触觉数据采集系统。

最终形成的 EgoTouch 覆盖了 208 项操作任务、1891 段交互、超过 20 小时视频、约 210 万帧数据和 1000 余个物体，场景横跨家庭、办公室、工作台、零售和户外环境。

而 TouchAnything 的意义，并非宣布摄像头从此可以完全替代触觉传感器。真正执行精细操作时，机器人仍然需要实时、可靠的触觉硬件。它更像是在解决一个规模化问题：先用有限的真实触觉数据教会模型视觉与触觉的对应关系，再为大量原本没有触觉标注的人类视频补充触觉监督提供可能。

TouchAnything 多视角触觉预测模型架构。模型输入头戴第一人称视角、左右腕部视角和双手 3D 姿态，通过多视角视觉特征融合与姿态感知融合，预测双手压力分布图，从而从纯视觉视频中恢复触觉信息。

但能够 “猜到人手可能感受到了什么”，还不等于机器人会使用这些信息。

这也让 TouchWorld 的出现变得顺理成章。

TouchWorld 中的触觉世界模型，先在 20.2 小时 EgoTouch 人类交互数据上预训练，再使用 10 小时机器人演示数据进行微调。前者让模型接触更多样的人类操作和接触模式，后者则把这些先验适配到具体的机器人灵巧手、触觉传感器和动作空间。

至此，整条技术路线才真正闭合：

EgoTouch 回答的是触觉数据怎么采；TouchAnything 回答的是没有传感器标注的视频，能不能恢复出触觉；TouchWorld 回答的则是机器人如何根据触觉预测目标、生成动作，并在真实接触中完成纠偏。

从记录人类怎么触碰世界，到让机器人学会真正 “碰对”，杨朔团队用了两篇论文，把三个环节一步步接了起来。

没有现成答案，破晓智能要做一项全栈工程

把 TouchAnything 和 TouchWorld 连起来看，破晓智能的定位才真正清晰：它不是一家单纯做触觉手套的公司，也不是一家只提供人类数据的公司。

在杨朔看来，数据采集设备、触觉硬件和机器人平台都是手段，最终都要服务于同一个目标 —— 训练和迭代能够迁移到真实机器人上的基础模型。

破晓智能的技术路线延续了杨朔过去对 Data-Centric AI 的研究思路。在进入具身智能之前，他长期关注数据质量、噪声处理和训练效率；到了机器人领域，他首先追问的依然不是 “模型还可以怎么改”，而是 “什么样的数据路线，才可能支撑能力持续扩展”。

如果说 TouchWorld 解决的是机器人怎么 “把手碰对”，破晓智能进一步瞄准的是 “整个身体如何移动到位，再把事情做对”。

为此，破晓智能也正在推进更完整的人类数据采集方案。除了第一人称头环和触觉手套，还包括腰带与脚踝柔性绑带：头环记录人看见什么，手套记录手如何接触物体，腰带和脚踝设备则捕捉移动、转身、弯腰、下蹲和踮脚等全身动作。

真实的人类操作，很少只发生在一张固定桌子前。做家务需要在房间中移动，取高处物品需要踮脚，整理地面物品需要下蹲，搬运时还要处理平衡、移动和双手协同。破晓智能希望学习的，不只是 “手怎么抓”，而是人如何在真实空间中移动到合适的位置，再完成接触密集的操作。

但 TouchWorld 并非建立在一套现成、稳定的软硬件平台之上。触觉数据不足，手套存在噪声、漂移和批次差异，高自由度、全掌触觉且足够稳定的灵巧手也很难直接买到。

杨朔团队的工程化能力，让 TouchWorld 不只停留在模型设想，而是真正走到了完整系统和真机验证。市场上没有现成方案，团队就自己改硬件、搭数据管线、训练模型、跑控制闭环；评测体系也需要重新设计任务、采集数据、设置标准和扰动场景，再反复进行真机测试。

TouchWorld 在浇花、抽纸巾等六项真实机器人任务中完成测试。

这也意味着，破晓智能真正要搭建的不是一个单点模型，而是一整套全栈能力：从人类数据采集和触觉数据清洗，到视觉 — 触觉对齐、世界模型训练、灵巧手遥操作、真机策略部署，再到传感器适配和统一评测环境。

目前团队成员已经能够覆盖机械设计、嵌入式开发、数据基础设施、世界模型训练和真机部署等多个环节。这是破晓智能敢于把目标指向全身移动灵巧操作的底气，也构成了它相比单一模型方案更完整的技术壁垒。

单个模型架构可以被追赶，真正难复制的，是数据、硬件、模型和评测体系共同形成的闭环。

接下来，团队计划逐步开源 EgoTouch、TouchAnything 和 TouchWorld 相关的数据、代码与模型，并继续推进五指灵巧手、触觉世界模型和全身移动操作方向的研发。

视觉让机器人知道世界长什么样，触觉让机器人确认自己是否真的改变了世界。

而破晓智能想做的，是让这种能力不再停留在一组传感器读数里，而是成为机器人基础模型的一部分。

TouchWorld

• 论文：https://arxiv.org/abs/2607.07287
• tech blog:https://phanes-lab.github.io/TouchWorld-website/

TouchAnything

• 论文：https://arxiv.org/abs/2605.13083
• 官方项目主页：https://jianyi2004.github.io/TouchAnything-Website/