脑机启侦 | 脑机接口不再只会点光标了，直接开进3D虚拟现实

脑机接口已经能让人控制光标、机械臂甚至打字，但如果目标是更接近真实生活的导航，比如像开轮椅一样在复杂环境里前进、转向、绕开障碍，它还能不能稳定工作？

本研究把脑机接口放进了一个三维虚拟现实环境里，往更接近真实世界使用方式的方向推了一步：不是点一个静止目标，而是在不断变化、带有视角变化和障碍物的环境里持续导航。猴子只靠皮层神经活动，就可以实时控制一个球体或猴子化身在场景中前进、转向、避障，甚至在目标中途突然跳到新位置时也能在线修正路线。更重要的是，这套系统并不依赖冗长的在线重校准，解码器只在开始前经过一个很短的被动注视阶段训练，之后就固定下来，靠猴子自己的神经适应去完成控制。

脑机接口不只缺少精度，离真实导航还差得太远

过去这些年，脑机接口已经证明了很多事。它可以让瘫痪患者打字、控制光标、操控机械臂，甚至恢复部分肢体功能。这些结果当然非常重要，但它们大多发生在相对受控的实验环境里：目标简单、空间结构简单、环境变化也不多。

真正接近日常生活的导航却难得多。因为导航不是一次性把手伸到一个点上，而是要在持续变化的环境里一边走、一边看、一边改。可能需要转向、绕障碍、适应视角变化，还要在目标突然改变时立刻修正。对瘫痪患者来说，如果未来脑机接口真的要参与轮椅控制，这些能力几乎都是必需的。

本研究正是瞄准这个缺口，要想让脑机接口更接近真实导航，至少要做到三件事：

■不只解码简单二维运动，而是能实时解码更灵活的三维速度；

■环境不能再只是空白背景和光点，而要有更真实的空间感；

■系统最好能在不依赖反复在线重训的前提下稳定运行，因为真正的患者使用场景不可能天天长时间校准。

不是只看运动皮层，三个运动相关脑区一起解码

为了让控制更灵活，作者没有只记录一个脑区，而是同时在三只恒河猴的三个运动相关区域植入Utah阵列：初级运动皮层M1、背侧前运动皮层PMd和腹侧前运动皮层PMv。随后，系统把这些区域的神经活动解码成实时的速度信号，用来驱动虚拟环境里的球体或猴子化身运动。

这个设计很重要。过去很多脑机接口研究主要盯着M1和PMd，但本研究把PMv也放到了非常核心的位置。分析表明，在不少任务里，PMv和PMd的组合比单独的M1更有信息量。也就是说，如果目标是更复杂、更灵活的导航，前运动区可能比人们过去想的更关键。

更有意思的是，作者训练解码器时并没有让猴子做明显的肢体动作。相反，解码器是在一个很短的Passive Fixation阶段训练出来的：猴子只是看着系统自动完成导航，自己不需要主动移动，这个固定解码器就直接被拿去做在线闭环控制。这一步非常关键，因为它明显更接近严重瘫痪患者未来可能面对的情况——不能依赖残余肢体动作来训练，也不能假设用户一直有丰富的运动反馈。

图1 让猴子在三维虚拟现实里持续导航

研究团队在M1、PMd和PMv三个区域同时记录神经活动，把它们解码成实时速度信号，用来驱动球体或猴子化身在不同虚拟任务中移动，包括基础到达、连续导航、三维移动、目标突变和障碍回避

猴子从一开始就能完成任务，很多场景下表现远高于随机水平

作者一共设计了五类任务来测试系统能力，包括：

■基础的Center-Out任务

■带动态视角变化的Continuous Navigation

■真正加入高度维度的3D Center-Out

■目标中途改变位置的Respawn

■路径上出现障碍物的Obstacle

三只猴子在Center-Out和Continuous Navigation中，从记录初期开始就已经明显高于随机水平，个别session的成功率最高能到 96%。在Center-Out任务里，三只猴子的平均成功率分别约为 73%、83% 和 64%；Continuous Navigation 中则分别约为 69%、70%和59%。

其中两只猴子之前参加过别的脑机接口项目，所以起点更高；第三只猴子没有那么多经验，需要更多session才逐步上来，但也出现了清楚的学习趋势。说明这套系统不是只能靠“老练动物”才能跑起来，新的个体也能逐渐适应。

研究团队还把猴子化身拿掉，只保留第一人称视角。结果猴子的表现基本没有明显变差，说明这套控制并不依赖看见一个外部“身体”才能工作，而是真能迁移到更像自己在前进的视角。

真正拉开层次的，是三维控制、目标突变和障碍回避这些更难的场景

仅仅在二维平面里到达目标，不是本研究最出彩的地方，以下三个更接近真实导航难题的任务是研究亮点。

■ 3D Center-Out。球体不再只在平面上动，而是要在x、y、z三个方向里运动，去到高处或低处的目标。结果两只猴子依旧能稳定高于随机水平，平均成功率分别达到69%和58%。虽然比二维任务更难，但已经足够说明：系统确实学会了第三个维度，不只是平面里的假三维。

■ Respawn任务。目标会在trial中途突然换位置。结果两只猴子的成功率依旧都在高位附近，平均约76%和82%，而且和“不换目标”的普通 trial 相比没有显著差异。足以说明，目标不是固定的，系统也能及时改道。

■ Obstacle 任务。这是最接近现实导航的一类：路径上会随机出现一个障碍物，有时恰好挡在通往目标的路上。测试成绩仍然明显高于随机水平，两只猴子的平均成功率分别是 63%和69%。尤其是其中一只猴子，在障碍真正挡路的trial中也能达到大约63%，已经相当接近其无障碍条件下的表现。

综上，系统不只是会“朝目标移动”，而是已经具备了更重要的一步——在持续导航中做调整。

图2 从平面到三维、从固定目标到突变目标、从空场景到避障

五类任务的成功率都显著高于随机水平。尤其在三维目标、目标中途跳转和障碍回避这些更复杂条件下，系统仍能保持稳定表现，说明这套脑机接口并不只适用于最简单的实验室范式。

结论与展望

在本研究中，解码器不是一边用一边反复校准的。只靠短暂的被动观察训练，再加上后续闭环中的神经适应，也可以支撑相当复杂的导航。且解码器具备一定的“泛化”能力。一是能泛化到没在训练里出现过的新目标位置，新、旧目标的表现都明显高于随机，而且新目标并没有明显更差。二是能泛化到不同环境。无论是简单网格上的球体，还是森林场景中的猴子化身，甚至第一人称视角，解码器仍都能工作。

本研究把脑机接口从经典实验室范式往真实导航场景推了一步，展示了持续前进、动态转向、三维控制、目标突变后的改道、障碍回避，以及在不同视角和环境之间泛化。这一切不是建立在复杂反复重训之上，而是建立在短暂的被动训练、固定解码器以及随后的闭环神经适应之上。虽然研究离真正的人类临床导航系统还有距离，但至少已经证明了一件重要的事：脑机接口不一定只能困在平面光标和机械臂末端控制里，它完全有可能走向更自然、更连续、更接近真实生活的导航任务。

参考文献：Saussus O, De Schrijver S, Garcia Ramirez J, Decramer T, Janssen P. Intracortical brain-computer interface for navigation in virtual reality in macaque monkeys.

来源：Science Advances、Al4Neuro

浙大科技园启真脑机智能产业化基地是在浙大控股集团领导下，由浙江大学科技园发展有限公司与杭州未来科技城管委会共建，围绕脑机智能产业主体，辐射脑机+生命健康、脑机+智能制造、脑机+新一代信息技术、脑机+新材料等领域的专业化特色产业基地，由杭州启真未来科技发展有限公司负责全面运营。

基地依托浙江大学在脑机智能方面的学科优势，以脑机智能作为核心科技支撑，贯彻浙江大学国家大学科技园“有组织科技成果转化、有靶向科技企业孵化、有体系未来产业培育”的服务体系，致力于打造脑机智能领域具备成果显示度、区域影响力的产业化高地。