多模式SPAD成像技术：Ubicept将被动与主动感知相结合

当我们与客户讨论SPAD传感器时，他们通常最熟悉的是飞行时间成像技术。这是该技术最成熟的应用之一，许多人的智能手机中已经搭载了基于SPAD的深度传感器。更广泛地说，飞行时间成像是主动成像的一个典型例子，其图像采集需要与受控光源协同配合，而不是仅依赖场景中已有的光线。

在Ubicept，我们的主要关注点是被动成像技术。Ubicept光子融合技术（UPF）以及我们的灵活光采集与表征引擎（FLARE）利用SPAD传感器稀疏且极高速的输出数据，在低光照、快速运动和高动态范围等挑战性条件下生成图像。关于这些技术的更多信息，可以查阅相关资料了解。

但增加强大的被动成像能力并不会削弱SPAD传感器原有的优势功能。在支持的相机上，FLARE还可以协调采集过程与外部照明配合，使同一套成像系统能够运用基于激光脉冲、投影图案、方向性照明以及其他受控光源的各种技术。让我们来看几个具体示例：

飞行时间成像

飞行时间成像利用SPAD传感器精确的计时能力来测量距离。光源发射一个短脉冲，传感器检测返回的光子，光子传播所经历的时间提供了光线行进距离的信息。在整个场景中重复进行这些测量，便可生成一幅深度图像。

FLARE可以在兼容的SPAD相机上支持飞行时间操作，使同一个用于被动捕获的成像传感器在需要时也能产生深度测量数据。由于强度测量和深度测量来自同一传感器和光学路径，相比使用独立相机的系统，这种方式可以简化对齐工作，尤其是在相机或场景处于运动状态时。

门控成像

门控成像以不同的方式运用了相同的精确计时能力。传感器并非通过返回光子的到达时间来估算距离，而是仅在照明脉冲之后的特定时间间隔内捕获光子。由于来自近处物体的反射光会比来自远处物体的反射光更早到达，因此该时间间隔的设置决定了相机捕获的是哪个距离范围内的信息。

这项技术在雾、雨、烟或雪天进行成像时非常有用。靠近相机的粒子散射的光线会降低远处物体的对比度。延迟捕获窗口可以排除部分邻近的背向散射光，同时保留从目标距离返回的光线。

FLARE可以在支持的SPAD相机上配置这些时间窗口，并使其与照明光源保持同步。

高速主动成像

并非所有主动成像技术都需要SPAD传感器所能提供的纳秒级计时精度。有些技术使用传统CMOS相机也能很好地完成。在这些情况下，SPAD传感器的优势不在于精确测量光子到达的时间，而在于传感器获取数据的速度。

例如，光度立体技术通过从不同方向照射物体并比较得到的图像来估算物体表面形状。使用传统相机时，这些光照条件通常需要与图像捕获同步循环切换，因此采用120帧/秒或240帧/秒的相机会限制整个序列采集的速度。如果物体在帧与帧之间发生移动，这种运动可能会给重建结果带来误差或伪影。

结构光技术也存在类似的限制。将已知的图案或图案序列投射到场景中并由相机捕获，以此恢复三维形状。该序列的捕获速度越快，各项测量结果对应同一场景的程度就越高。

这正是SPAD传感器变得格外有吸引力的地方。我们所使用的传感器能够以接近每秒10万帧的速率生成原始二进制帧，而Ubicept光子融合技术（UPF）可以将这些测量数据重建为有用的强度图像。这能够将原本可能跨越数十毫秒的光度立体或结构光序列压缩到更短的时间间隔内，从而减少照明状态切换之间的运动，以及由此产生的伪影。

将主动与被动成像相结合

对于许多应用而言，真正的价值并不在于选择主动成像还是被动成像，而在于能够用同一个传感器，在极短的时间间隔内同时获取这两类信息。

主动成像可以提供精确的场景结构信息，比如道路标志的确切形状和距离。被动成像则提供强度信息，用于回答另一个问题：标志上到底写了什么？借助UPF和FLARE，支持的SPAD相机可以使用同一个传感器和光学路径捕获这两类信息，使主动测量和被动测量在时间上紧密对齐。

这在动态场景中尤为重要，因为独立的深度传感器和强度传感器可能会捕捉到略有差异的场景版本，随后还需要进行同步、校准和传感器融合才能将其输出整合在一起。使用通用的SPAD传感器可以简化这一问题，同时在应用需要时同时提供几何信息和视觉信息。

另外一点：间接感知

我们展示过的较为先进的技术之一是间接感知，即研究文献中所称的非视线（NLOS）成像。

其基本原理是利用一个可见表面（比如一堵墙）作为中间反射体。脉冲光源照射这个表面，部分光线到达隐藏的场景，其中一部分最终沿反向路径返回。这些额外的路径长度会表现为光子到达时间上的微小差异。

通过使用SPAD相机测量这些延迟，我们可以恢复关于那些原本被遮挡区域的几何信息。这是一项专业化的应用，但却是精确光子计时如何将感知能力扩展到相机直接视线范围之外的一个有力例证。可以观看下方视频中的演示。

Q&A

Q1：什么是飞行时间成像技术？

A：飞行时间成像利用SPAD传感器精确的计时能力来测量距离，通过光源发射短脉冲、传感器检测返回光子并计算光子传播所用时间来获取距离信息，重复测量整个场景即可生成深度图像。

Q2：门控成像在什么场景下最有用？

A：门控成像在雾、雨、烟或雪天进行成像时特别有用。它可以通过设置特定的捕获时间窗口，排除靠近相机的粒子散射光线造成的干扰，同时保留从目标距离返回的光线，从而提高成像清晰度。

Q3：Ubicept的UPF和FLARE技术有什么作用？

A：Ubicept光子融合技术（UPF）和灵活光采集与表征引擎（FLARE）利用SPAD传感器的高速稀疏输出，在低光照、快速运动和高动态范围等挑战性条件下生成图像，同时还能协调主动照明技术，实现主动与被动成像的结合。