这个索尼传感器还是AI传感器呢？

全新的 IMX500 Intelligent Vision系列图像传感器直接在芯片上集成AI图像分析系统，让你的相机更快更强。

公告发布了两种新的智能视觉（ Intelligent Vision）传感器：IMX500和IMX501。据我所知他们俩是同款芯片，只不过IMX500是裸片，而IMX501是封装产品。

它们都是1230万像素的1/2.3英寸传感器，主要市场之一是监控和系统相机。不过在传感器上运用AI将为相机提供一颗赛艇的潜力，尤其是对于无人机或运动相机（例如GoPro或Insta 360）来说。

左侧为IMX500，右侧为IMX501。

IMX500啥能力？

新芯片的一项显著能力在于物体或人员识别，可用于追踪和辨识对象，芯片的输出结果也不必是图像形式，可单纯输出元数据，这样它就可以简单地发送对所见内容的描述，而无需附带视觉图像。这样最多可以降低10,000倍的数据存储量。

应用于监控摄像头或系统摄像头，有新传感器的摄像头可以计算经过的人数或识别商店货架上的库存不足。我们甚至可以对其进行编程以通过热成像识别顾客的行为。

Intelligent Vision传感器的布置方式。

对于传统相机，它可以通过更精确地识别和跟踪对象来改善自动对焦系统。此外新传感器可通过识别你可能关注的图像区域，使自动对焦系统更加智能。例如，如果你想拍摄花朵的照片，则自动对焦系统会晓得对焦与花朵，而不是花朵后的树枝。此外，人脸识别也将变得更快，更可靠。

今天的自动对焦系统已经很不错了，但如果加上超快速的传感器集成物体识别，它还能表现得更好。同样，对于360摄像机而言，具有更可靠的对象跟踪能力也将有助于后期重新构图。

新芯片不必输出图像，可只输出对其所见内容的描述。

为什么我们需要芯片集成的AI？

将AI集成于传感器有两个主要的原因。首先是处理速度会快得多得多，IMX500能够逐帧运行AI功能，而不必等着去后期。另一个优点是更安全，以前的AI数据经常通过网络发送到别处进行图像分析，将AI功能集成于芯片可以消除这个安全漏洞。

云端 AI计算也不能离线使用，并且没有实时可靠的计算能力。云计算机的能源和成本也在增加，这对环境不利。

对于像GoPro这样的小型相机而言，这意味着这种类型的处理不需要由其他芯片执行。这样可以节省功率，同时解放了相机的主处理芯片和内存，让它们专注于更好的电子稳定或色彩处理。

在商店柜台进行实时跟踪的示例。注意它如何跟踪售货员的肢体运动。

只受你的想象力限制

新传感器支持自定义编程以精确地完成任务，这样的传感器将只受限于我们的想象力。索尼以汽车的使用为例，IMX500可以识别驾驶员并自动调整汽车的座椅位置，甚至是判定驾驶员是否正在入睡。

运动相机可能会在运动过程中识别出你的体态。如果你想改善瑜伽或武术，可以通过将自己与“完美”的示范进行比较来帮助确定需要改进的地方。通过识别嘴唇的运动来获取谈话内容可能也很快能实现，并集成在所有相机中。对于拍摄戏剧的人来说，如果相机在记录图像的同时以文本形式输出演员的表演，那么在记录镜头或从剧本中识别镜头时将会很有用。

从纯视频录制能力看，IMX500也是一款高性能芯片。它支持高达60fps的4K和高达240fps的1080p录制。不过目前该芯片的视频AI处理能力最高支持30fps。

总而言之，虽然这只是第一代芯片，但随着时间的流逝，我们可以期望一下这类传感器的潜力。