Meta赞助密歇根学者发明新型传感系统，家具可以感知语音输入！

密歇根大学开发了一种新型传感系统，沙发、桌子、袖子等可以变成计算机的高保真输入设备。

该系统重新利用了被称为语音拾取单元（VPU）的新型骨传导麦克风的技术，该麦克风只检测沿着物体表面传播的声波。它可以在嘈杂的环境中工作，沿着玩具和手臂等奇怪的几何形状工作，也可以在衣服和家具等柔软的织物上工作。

该系统被称为SAWSense，对于它所依赖的表面声波，它可以识别不同的输入，如敲击、刮擦和滑动，准确率为97%。在一次演示中，团队用一张普通的桌子代替了笔记本电脑的触控板。

密歇根大学计算机科学与工程博士候选人Yasha Iravantchi说：“例如，这项技术将使你能够像对待互动表面一样对待身体的整个表面。如果你把设备放在手腕上，你就可以在自己的皮肤上做手势。我们的初步发现表明这是完全可行的。”

敲击、滑动和其他手势沿着材料表面发送声波。然后，系统通过机器学习对这些波进行分类，将所有触摸变成一组稳健的输入。上周，该系统在2023年计算机系统大会上亮相，并获得了最佳论文奖。

随着越来越多的物体继续融入智能或联网技术，设计师在试图为它们提供直观的输入机制时面临着许多挑战。Iravantchi说，这导致了触摸屏、机械和电容按钮等输入方法的大量笨拙结合。触摸屏可能过于昂贵，无法在柜台和冰箱等大型表面上进行手势输入，而按钮只允许在预定义的位置进行一种输入。

过去克服这些限制的方法包括使用麦克风和相机进行基于音频和手势的输入，但作者表示，此类技术在现实世界中的实用性有限。

Iravantchi说：“当有很多背景噪音，或者用户和相机之间有什么东西时，音频和视觉手势输入就不能很好地工作。”

为了克服这些限制，为SAWSense供电的传感器被安置在一个密封的室内，即使是非常大的环境噪音也能完全阻挡。唯一的入口是通过质量弹簧系统，该系统在外壳内传导表面声波，而不会与周围环境中的声音接触。当与团队的信号处理软件相结合时，该系统可以记录和分类物体表面的事件，该软件在将数据输入机器学习模型之前从数据中生成特征。

密歇根大学电气工程和计算机科学副教授Alanson Sample说：“还有其他方法可以检测振动或表面声波，比如压电传感器或加速度计，但它们无法捕捉到我们需要区分滑动和刮擦的广泛频率范围。”

VPU的高保真度使SAWSense能够识别用户触摸事件之外的表面上的广泛活动。例如，厨房台面上的VPU可以检测切碎、搅拌、混合或搅拌，以及识别正在使用的电子设备，如搅拌机或微波炉。

Iravantchi说：“VPU能很好地感知在明确区域内发生的活动和事件。例如，这允许智能物体附带的功能，而无需考虑感知整个房间的标准麦克风的隐私问题。”

当多个VPU组合使用时，SAWSense可以实现更具体、更灵敏的输入，尤其是那些需要空间感和距离感的输入，比如键盘上的键或遥控器上的按钮。

此外，研究人员正在探索使用VPU进行医学传感，包括在关节和结缔组织运动时拾取精细的噪音。Sample说，VPU提供的高保真音频数据可以实现对个人健康状况的实时分析。

该研究部分由Meta Platforms股份有限公司资助。

该团队在密歇根大学创新伙伴关系的协助下申请了专利保护，并正在寻找合作伙伴将该技术推向市场。