告别静态操控：新型AI可穿戴贴片，可在运动中识别手势控制机械臂

美国加州大学圣地亚哥分校（UCSD）徐升教授对 DeepTech 表示：“很荣幸我们的工作成为 Nature Sensors 期刊的首篇论文，我们第一次通过 AI 的方法实现了在动态下抗运动伪影的人机交互，应用场景包括可穿戴和移动设备的手势控制、机器人遥操作、AR/VR 动作追踪、游戏、康复与辅助设备、工业与军事训练、健康与运动监测、智能家居控制及汽车手势交互等领域，为现实生活和专业应用提供了精确而高效的交互方式。”

图丨徐升课题组（来源：课题组）

近期，徐升团队开发了一种通过深度学习增强的可穿戴传感器，可构建在多种动态条件下均具备强抗运动伪影能力的人机交互界面。该设备以柔性电子贴片的形式贴附在用户前臂，通过无线方式实时捕捉动作信号并驱动外部机器人执行精确操作。

简单来理解，它像是一个通用的“手势翻译官”，即便是在奔跑、高频振动、游泳或行驶的汽车等高度动态的环境下，也可以通过无线捕捉和传输手势信号，并将提取的手势信号转换为实时、连续的基础控制机械手臂动作。而面对一些相对复杂的动作，则可以将这些基础动作像搭乐高积木那样一步步组合完成。

实验结果显示，该系统实现了一系列优异的性能：手势识别的准确率达 94%；新用户仅需坐姿和卧姿两个样本就能完成模型微调，大幅度减少了数据采集时间；从手势信号捕捉到机器人手臂响应的延迟约 1.3 秒, 可满足实时控制的需求；电池性能方面，可拉伸电池在 60 个循环后容量保持在约 25 mAh，库仑效率近 100%，可支持设备 4 小时以上的连续运行。

（来源：课题组）

该研究通过减轻运动伪影带来的影响，突破了此前在运动／震动环境下难以应用的瓶颈，并展示了可穿戴人机交互界面在复杂真实世界应用中的潜力，也为设计新的手势识别平台或系统提供了一种新的思路。

例如在医疗领域，通过该技术为帕金森患者或康复中行动不便的患者在动态环境下，通过手势精确控制设备等方面提供帮助。另一方面，该研究拓宽了控制行为的应用场景，在动态环境下扩展了手势识别控制的适用模式。传统的手势识别技术（例如娱乐）大多基于静止状态进行识别和控制，而在游泳、跑步、跳跃等特殊场景下也可以进行精准识别和控制。

近日，相关论文以《一种基于深度学习增强型可穿戴传感器的抗运动伪影人机交互界面》（A noise-tolerant human–machine interface based on deep learning-enhanced wearable sensors）为题发表在 Nature Sensors[1]。

UCSD 博士后研究员陈相君、楼之源（UCSD 硕士毕业生，现英国帝国理工学院博士研究生）、郜晓翔博士（现东南大学青年首席教授）和尹鹿博士（UCSD 博士毕业生，现 Persperion Diagnostics 公司 CEO）是共同第一作者，徐升教授和 Joseph Wang 教授担任共同通讯作者。

图丨相关论文（来源：Nature Sensors）

灵感溯源：从海上营救到普适性抗噪探索

该研究源于一个科研设想：能否在海浪环境下进行精准的手势识别操作？这有望在海上营救或其他活动中发挥关键的作用。

研究人员的灵感最初来源于潜水员控制水下机器人，他们进一步提出，该课题或许可拓展至全领域——在海浪中会产生噪声，实际上在跑步等运动中也会产生类似的运动干扰。进一步地，他们在文献调研过程中发现，几乎没有在运动或较大震动环境下进行手势识别的相关研究。

该团队意识到这是一个硬件上的关键挑战：惯性测量单元需要既记录用户运动（如走路）也记录手势施动时的信号。为解决该问题，研究团队利用深度学习模型来区分运动伪影和真实信号。通过在包含手势信号和运动伪影的复合数据集上训练的卷积神经网络（CNN，Convolutional Neural Network）提取稳健信号，同时采用基于参数的迁移学习提高网络在不同用户间的泛化能力。

图丨抗运动噪声的人机界面概述（来源：Nature Sensors）

与传统的静态手势识别相比，该研究的创新之处在于：用更复杂、更多样的数据去训练模型来提升其性能。具体而言，在训练 AI 模型时加入各种噪声，让 AI 既学习单独的信号，也学习带有运动伪影的信号，以增强模型应用场景的广泛性。

研究人员对比了全连接神经网络、循环神经网络以及基于 LeNet-5 架构的 CNN。结果显示，CNN 在召回率、精确度、F1 分数和特异性方面均表现最优，各项指标均超过 0.92。

该可穿戴设备采用了紧凑的多层架构，尺寸仅为 1.8 cm × 4.5 cm²，厚度为 2 mm。这套控制系统由器件、机器人和 AI 三大模块组成。器件方面集成了惯性仪、肌电信号传感器两种传感器，以及蓝牙微控制器和柔性可拉伸电池。

（来源：课题组）

该研究另一个创新之处在于，研究团队与 Joseph Wang 实验室合作，引入了后者开发的高性能柔性锌-氧化银电池来为设备提供电力。尽管现有的柔性器件本身可拉伸，但它们通常会用一个体积较大的电池来供电，或配备一些无线传输、无线充电模块。

采用柔性电池的优势在于，与器件同等尺寸且整个器件是完全集成的，并且研究团队有一整套制备工艺让器件和电池都能够从硬态变为具有 20% 可拉伸性的状态，能够舒适贴附于用户前臂，并能持续供电 4 小时以上。此外，设备的蓝牙信号强度在 20 m 范围内保持稳定，即使在弯曲和拉伸状态下，电池容量也能维持在约 25 mAh。

陈相君解释说道：“这个电池负责给整个系统供电，系统则将肌电信号和惯性信号全部传输到电脑上。实际上，AI 的处理过程都是在电脑这个‘中转站’完成的。它处理信号后，再将信号传递给机械臂，告诉机械臂要做什么动作。”

突破边界：跨场景、跨环境的极限验证

一个不容忽视的普遍性问题是：AI 模型在训练时不能只在某个个体上训练，其容易引起对新个体不适配的问题。

为解决该问题，研究人员采用了迁移学习策略。他们首先在五位用户的数据上进行预训练。“这样，新用户只需要提供少量数据，模型就能快速适配并运行，而不需要像第一位用户那样采集大量数据。”陈相君进一步说道。

具体而言，新用户只需要采集每个手势的两个样本（卧姿和坐姿），模型就能识别，并且最低识别准确率从 51% 显著提升至 92% 以上，数据采集时间也从约 2 分钟缩短至 6 秒。

图丨实时机械臂控制与运动伪影（来源：Nature Sensors）

根据论文，尽管系统存在约 1.3 秒的响应延迟，但由于连续识别机制，机械臂能够流畅执行一系列复杂任务，如在用户跑步、高频振动或躺卧状态下，精确地将液体从试剂瓶转移至烧杯。

值得关注的是，研究团队还特别探索了该系统在水下环境的应用潜力，通过在斯克里普斯海洋-大气研究模拟器中模拟了不同波长与波高的海浪（包括近海和深海），并在离线测试中实现了较为理想的指令识别准确率。

陈相君指出，这台大型造浪机解决了验证器件性能，并基于此证明了该器件可以在海浪巨大的噪声下工作。“未来，我们还将尝试在真实海浪环境下让潜水员用该器件完成营救或侦察等任务。”

成长之路：从工作者到项目负责人的蜕变

陈相君本科毕业于北京航空航天大学，最初就读于机械专业，大二时转到材料学院郭林院士团队进行二维材料合成方向的探索。之后，他来到 UCSD 徐升教授课题组攻读博士学位，目前他在该课题组进行博士后研究。

徐升课题组的研究方向聚焦于柔性电子、光电器件、可穿戴光声和超声技术。最初陈相君的研究方向是材料表征，后来“阴差阳错”地进入到柔性器件，现在他的研究项目更多的是应用为导向的各种传感器集成，并有很多产学研结合的实验课题。

实际上，柔性电子是一个相当学科交叉的方向，这时陈相君的材料学基础就派上了“用武之地”。他至今仍记得在北航读书时王华明院士课上曾说过：“学材料的人不需要什么都会，但需要什么都懂一点。”正是材料学的背景让他对每个方向、每个小模块都有大致的了解。所以，在统筹小团队完成项目时会显得比较得心应手，这也为项目的高效推进提供了保障。

图丨陈相君展示将该系统佩戴在手臂带上（来源：课题组）

谈及在课题组工作期间最大的收获，陈相君表示，在徐升老师的指导下，他学会了从一名普通的研究人员成长为项目负责人。据介绍，他在最初做研究时达标的标准是制备出能工作的器件，但导师会不断激励他去实现更高的目标。

“徐老师经常对我说如果想做高质量的科研，就不能满足于现有的性能，而是要不断突破极限，这让我受益匪浅。一路走来，在这种高要求的不断打磨下，科研水平和成果都提升了一个层级。”他说。

图丨抗噪声的人机界面在海浪中的应用（来源：Nature Sensors）

柔性器件的应用场景非常广泛，尤其是人机交互方面。据了解，该实验室目前已能够小规模生成柔性器件，并正在与工业界合作开展相关合作项目。

在后续的研究阶段中，研究团队计划进一步将动作的响应时间缩短。据团队推测，如果能把动作时间缩短到 0.2 秒，识别时间则可能在 0.5 秒左右。

另外需要指出的是，现有流程是佩戴器件后将信号传输到电脑，再由电脑控制机械臂，这会增加一些不必要的传输环节。研究人员希望未来可穿戴设备能够去除中转环节，直接与机器人交互。基于此，他们计划进一步升级硬件，探索将 AI 模型直接集成到可穿戴设备，让设备本身具备计算能力或将其与目标机械臂直接结合。

尽管这项研究只是一个起点，但它向我们展示：从静态环境走向真实动态场景的手势控制，正成为可穿戴科技的新战场。未来，当你奔跑、游泳、爬山时，或许一块可穿戴的贴片就能让你与机器人无缝协作。

参考资料：

1.Chen, X., Lou, Z., Gao, X. et al. A noise-tolerant human–machine interface based on deep learning-enhanced wearable sensors. Nat. Sens. (2025). https://doi.org/10.1038/s44460-025-00001-3

运营/排版：何晨龙