新软件助力沟通！计算机教授与学生研发能识别面部表情的创新应用

观察一位在轮椅上、有运动障碍的年轻人与父母沟通时的挣扎，深深触动了 切坦·贾斯瓦尔。

贾斯瓦尔是 昆尼皮亚克大学 的计算机科学副教授。

在2022年的一次职业治疗会议上见到这位男孩后，贾斯瓦尔决定可以做更多事情，利用人工智能（A.I.）技术帮助人们与亲人建立联系。

“我们是计算机科学家，”贾斯瓦尔说。“我们可以做得更好。技术应该帮助那些真正需要它的人。技术不应该只是为了赚钱而存在。你需要创造能够帮助那些实际上每天都能使用它的人。”

与同事卡伦·马耶斯基（职业治疗副教授）和布莱恩·奥尼尔（计算机科学副教授）合作，三人与学生迈克尔·鲁奥科和杰克·杜根共同开发了大学首个专利的免提输入软件系统，利用人工智能通过面部手势实现完全的沟通，以帮助那些行动不便的人获得更多的独立性。

使用标准网络摄像头， AccessiMove 利用头部倾斜检测、眨眼/手势识别和面部特征追踪，让用户能够输入指令，并在计算机屏幕或其他设备上移动光标。

“这对很多人都有好处，尤其是残疾人和运动障碍人士，”贾斯瓦尔说。“他们实际上可以用自己的脸与计算机互动，做一些我们认为理所当然的事情。”

教授们正在寻找合作伙伴、合作者和投资者，在包括医疗保健领域的通信技术上开发该产品。

“我们在东海岸有很多医疗保健行业的合作伙伴，尤其是在康涅狄格州，无论是耶鲁医院还是哈特福医院，”贾斯瓦尔说。“我们都希望能为患者提供最好的照顾，尤其是那些无法自理的患者。他们需要帮助。他们需要帮助以过上更好的生活。我们期待那些想要为需要帮助的人们带来改变的合作伙伴。”

面部手势

马耶斯基描述了该软件系统，解释说个人的面部手势就像一个计算机鼠标工具，发出指令的工具。

奥尼尔说，摄像头对准你的鼻梁，解释说当一个人将鼻梁向某个方向移动时，就是在向计算机发信号，让计算机朝特定方向移动。

贾斯瓦尔举例说，左、右、上、下的头部倾斜可以被追踪到任何事件，例如打开Chrome或重启计算机。他说，眼睛眨动则与鼠标/键盘点击相关联。

贾斯瓦尔说，这项技术可以在类似设备上运行，适用于长期护理中心、教育、康复、远程学习和居家辅助护理环境。

贾斯瓦尔指出，这项技术不仅仅限于计算机。他解释说，它也可以与轮椅一起使用。

“残疾人可以坐在轮椅上，仅用手势来控制轮椅，”他说。“你只要向上看，椅子就会往前走；向下看，椅子就会往后退。”

他说，这也可以帮助生活辅助设施中的老年人，利用面部手势来控制人工智能技术，帮助他们从一个地方移动到另一个地方。

奥尼尔表示，没有人工智能的帮助，软件无法使用。

贾斯瓦尔说，人工智能被用来实时跟踪面部手势。

根据系统的介绍，该系统“还提升了游戏行业的可及性，让包容性游戏和新的免提互动方式能够应用于节奏较慢的策略、模拟或叙事类游戏。”

马耶斯基表示，这个想法是帮助有行动障碍的儿童与他们周围的物体互动。

“我们讨论的是学习中的游戏素养，”她说。“如果这是个玩具，他们却无法按下按钮，你能帮我们破解这个玩具，让他用整个手掌来按下按钮吗？如果这是台电脑，你能帮我们连接一些设备，让他能做这些动作吗？”

Majeski表示，团队与学生Ruocco和Duggan进行了试验，以确保软件在有人戴眼镜或颈部僵硬的情况下也能正常工作。她说，他们发现软件在所有这些情况下都成功了。该软件是根据个人的活动范围进行校准的。

“有资金支持将其推向市场，因此即使残疾人士有一个开源选项，我们仍然需要资金将其发展成一个残疾人士可以自主使用的开源选项，”她说。

O’Neill阐述了软件的简单之处。

“这不需要特殊的硬件，”他说。“它不使用高级网络摄像头。它使用的是任何平板或手机自带的摄像头。”

Jaiswal表示，他希望这项技术能成为需要它的人和想要方便使用它的人的日常工具。

“这项技术在医院中非常有用，”他说。“患者可以通过面部表情在医院中进行沟通，尤其是对那些不能说话的患者。”