机器人缝伤口、打结，手真不会抖，Hopkins、斯坦福ALOHA作者打造

机器之心报道

机器之心编辑部

会做外科手术的机器人，操作起来有模有样。

机器人做外科手术已经发展到这种程度了吗看起来非常娴熟精湛，「手」很稳。

只见机器人的两只「手」在猪肉上灵活穿梭进行缝合打结：

力度拿捏得刚刚好，将「伤口」完美缝合：

机器人还能准确拾取放在各种物体上的缝针，而不会夹到其他东西：

准确地提起组织，以便后续观察和操作。

上述研究便是来自霍普金斯大学、斯坦福大学共同研发的 da Vinci（达芬奇）机器人。

论文地址：https://surgical-robot-transformer.github.io/resources/surgical_robot_transformer.pdf

项目主页：https://surgical-robot-transformer.github.io/

团队成员包括翰霍普金斯大学的博士后 Ji Woong (Brian) Kim，师从 Axel Krieger 和 Chelsea Finn，这两人也参与了这项研究；斯坦福大学博士生 Tony Z. Zhao，曾参与过 Mobile ALOHA、ALOHA 2 家务机器人的研究，他的导师是 Chelsea Finn；Samuel Schmidgall 是翰霍普金斯大学电气与计算机工程专业的一年级博士生；Anton Deguet 为翰霍普金斯大学助理研究工程师；Marin Kobilarov 为约翰霍普金斯大学助理教授。

一直以来，关于机器人的研究主要集中在完成日常家务活动，在外科手术领域还没有得到充分的探索，尤其是手术机器人公司 Intuitive Surgical 的达芬奇机器人。这些机器人已在全球部署，具有巨大的扩展潜力：截至 2021 年，已经有 67 个国家 / 地区使用 6,500 台达芬奇系统进行了超过 1000 万例手术，55,000 名外科医生接受了该系统的培训。

该研究探索了是否可以通过模仿学习在达芬奇机器人上学习外科手术操作任务。为了实现这一目标，他们引入了一个相对动作策略（relative action formulation），其能够使用近似运动学数据成功地进行策略训练和部署。这种方法使得大量临床数据可以直接用于机器人学习，而无需进一步修正。最终的机器人在三项基本外科手术任务包括组织操作、针头处理和打结上表现优异。

这个手术机器人得到了一众网友的看好，直呼「不可思议」。

方法概览

下图 3 展示了 dVRK 系统，包括了机器人和用于医生交互的远程控制台。dVRK 具有一个内窥镜相机操纵器（ECM）和两个患者侧操纵器（PSM1、PSM2）， 它们共享一个机器人底座。每个机械臂按照被动设置关节（SUJ）顺序组合，后面是机动化的主动关节。

被动关节仅使用电位器进行关节测量，因而非常不准确。主动关节同时使用了电位器和电机编码器，精度得到提升。不过一般来说，在所有关节中使用电位器会导致机械臂的正向运动不准确，误差甚至能达到 5 厘米。

研究者的目标是通过模仿学习来学习外科手术操作任务。考虑到机器人不准确的正向运动，选择适当的动作表示至关重要。因此，他们研究了三种动作表示，分别是以相机为中心、以工具为中心以及混合相对（Hybrid Relative），具体如下图 4 所示。

其中以相机为中心的方法作为基准，强调了将动作建模为末端执行器绝对姿势的局限性。以工具为中心的方法通过将动作建模为相对运动得到改进并提高了成功率。混合相对方法通过对固定参考系的平移动作进行建模，相较于以工具为中心的方法进一步得到改进，并提高了平移运动的准确性。

首先来看以相机为中心的动作。研究者将以相机为中心的动作建模为末端执行器相对于内窥镜顶部框架的绝对姿势。这一设置类似于基于位置的视觉伺服应用程序（PBVS）的实现方式，成为 dVRK 的天然选择。

具体来讲，在给定时间 t 的观察值 o_t 时，目标是学习策略 π， 并预测动作序列 A_t,C = (a_t, ..., a_t+C)，其中 C 表示动作预测范围。该策略被定义如下

其次是以工具为中心的动作。研究者将以工具为中心的动作建模为相对于当前末端执行器框架（即移动身体框架）的相对运动。因此，以工具为中心的动作被定义如下：

最后是混合相对动作。与以工具为中心的动作类似，研究者将混合相对动作建模为相对于两个不同参考系的相对运动。其中增量平移是相对于内窥镜顶部框架来定义，增量旋转相对于当前末端执行器框架来定义。混合相对动作被定义如下

实验结果

在数据收集期间，机器人的设置参考了下图 5 中的配置。在此配置下，研究者收集了 224 次提起组织试验、250 次拾取和交接针头试验以及 500 次打结试验。所有试验均由单个用户在多天内收集完成。

评估相对运动与绝对正向运动的一致性。研究者试图了解 dVRK 的相对运动是否比绝对正向运动表现出更强的一致性。为了检验这一假设，他们远程操纵了参考轨迹，比如图 5 所示的无穷大符号。

然后将末端执行器置于相同的初始姿势，并使用不同机器人配置下的不同动作表示来重现轨迹。这些不同的配置包括了将机器人的工作空间向左和向右移动。当然，这些工作空间的移动会导致机器人设置关节的移动，并且由于仅使用电位器进行关节测量，这些关节容易导致较大的测量误差。

下表 1 展示了均方根误差（RMSE）的数值结果。在参考配置中，由于设置的关节没有移动，因而所有动作表示都精准地重建了参考轨迹。

此外，就相对动作表示而言，以工具为中心和混合相对方法的参考轨迹在重复时更加一致，并且数值误差没有明显变化。总之，在存在不一致关节测量误差的情况下，dVRK 的相对运动比其绝对正向运动表现得更加一致。

接下来，研究者使用提起组织、拾取和交接针头以及打结等不同的动作表示来评估策略性能。结果如下表 2 所示，以相机为中心的动作表示在这三个任务中表现都很差。

而以工具为中心的动作表示在三个任务中都表现出了更好的性能。不过在拾取和交接针头过程中，当执行大的旋转操作时，交接经常会失败。尤其是在拾取针头后，左夹持器必须旋转 90 度左右才能将针头转移到另一只机械臂上，如下图 6 所示。在该运动阶段，夹持器的方向似乎是对的，但平移运动似乎不正确，这可能是失败的原因。