速度快200倍：新相机以光速识别物体，助力自动驾驶汽车

该系统识别和分类图像的速度，比使用传统计算机硬件的神经网络快200倍以上。

科学家们已经开发出一种为计算机视觉设计的新型紧凑型相机。由华盛顿大学和普林斯顿大学的科学家开发的原型机使用光学进行计算，降低了功耗。它还使相机能够以光速识别物体。

他们的设备也代表了计算机视觉领域的一种新方法，这是一种允许计算机识别图像和视频中的物体的人工智能。

50个超透镜

“这是一种全新的思考光学的方式，与传统光学非常不同。这是端到端的设计，光学元件与计算模块一起设计，”华盛顿大学电气、计算机工程和物理学教授Arka Majumdar说。

“在这里，我们用工程光学元件取代了相机镜头，这使我们能够在光学元件中进行大量计算。”

研究人员透露，这款相机的光学元件不是使用由玻璃或塑料制成的传统相机镜头，而是依赖于由50个元透镜组成的多层光学元件 —— 使用微观纳米结构来操纵光线的扁平、轻质光学元件。超透镜还可以作为一个光学神经网络，这是一个计算机系统，是一种模仿人类大脑的人工智能形式。

比神经网络快200倍

他们声称，这种独特的方法有几个关键优势，因为它很快。由于大部分计算以光速进行，该系统识别和分类图像的速度比使用传统计算机硬件的神经网络快200倍以上，而且精度相当。它还减少了功耗，因为相机中的光学元件依靠入射光而不是电力来工作。

“这项研究确实有广泛的应用，从自动驾驶汽车、自动驾驶卡车和其他机器人到医疗设备和智能手机。现在，每一部iPhone都有人工智能或视觉技术，”普林斯顿大学计算机科学助理教授菲利克斯·海德（Felix Heide）说。“这项工作仍处于非常早期的阶段，但所有这些应用总有一天会从我们正在开发的东西中受益。”

新型计算机视觉系统

菲利克斯·海德强调，这个想法是利用Arka在元表面上的一些开创性工作，以光速将一些传统的电子计算带入光学。通过这样做，我们生产了一种新的计算机视觉系统，可以通过光学方式执行大量计算。”

该研究发表在《科学进展》杂志上，通过将并行光学计算嵌入到平面相机光学系统中，在传感器上记录之前在捕获期间执行神经网络计算，弥合了一个主要的差距。

与自动驾驶汽车的自主导航相关

研究人员说：“我们利用大内核，提出了一个通过低维重新参数化学习的空间变化卷积网络。”

“我们在相机镜头内部实例化了这个网络，其中包含一个角度相关响应的纳米光子阵列。

这项研究的下一步包括进一步的迭代和改进原型，使其与自动驾驶汽车的自动导航更相关。这是一个他们都认为很有前途的应用领域。根据研究人员的新闻稿，他们还计划处理更复杂的数据集和需要更大计算能力才能解决的问题，比如物体检测（在图像中定位特定物体），这是计算机视觉的一个重要功能。

如果朋友们喜欢，敬请关注“知新了了”！