从三视图到多视图的完整计算机视觉重建之路

基础矩阵是计算机视觉中连接二维图像与三维重建的神秘桥梁。当我们拥有多个相机拍摄的图像时，如何确保这些相机之间的关系能够在三维空间中和谐共存？这就是基础矩阵兼容性问题的核心。长期以来，研究者们错误地认为三视图的兼容性足以保证全局兼容性。本文揭示了这一错误观念，并展示了从三视图到四视图及更多视图的完整理论框架。通过精确的代数条件，我们不仅能判断一组基础矩阵是否兼容，还能重建出原始相机的位置与朝向。这些发现不仅具有理论意义，更为计算机视觉中的实际应用打开了新的可能性大门。

图像的几何语言

计算机视觉中的基础矩阵是连接不同视角相机之间的重要纽带。想象一下，你拿着手机围绕一个物体拍摄多张照片，每两张照片之间都存在某种几何关系，这种关系就由基础矩阵描述。基础矩阵在数学上是一个33的矩阵，它编码了两个相机之间的所有点对应关系。

基础矩阵的特点是它总是一个秩为2的矩阵。这意味着它有一些特殊的代数性质，使得我们可以从中提取关于相机位置的有用信息。对于任何一个秩为2的33矩阵F12，我们总能找到一对相机P1和P2，使得F12成为它们的基础矩阵。这对相机在投影变换下是唯一的，这就是为什么基础矩阵成为三维重建的基石。

兼容性问题的核心在于：给定n个相机之间的多个基础矩阵（通常是n（n-1）/2个），是否存在n个相机，使得每对相机之间的基础矩阵都与给定的基础矩阵一致？这听起来似乎很直观，但实际上并非如此简单。

这个问题的研究历史可以追溯到上世纪90年代。早期的多视图结构运动方法通常从估计点对应关系的基础矩阵开始。这些方法在当时已经相当成熟，但在理论上，人们对多个基础矩阵之间的兼容条件却知之甚少。

视图图（viewing graph）的概念被引入来描述相机之间的连接关系。在这个图中，每个节点代表一个相机，节点之间的边表示我们知道这两个相机之间的基础矩阵。完整视图图意味着我们知道所有可能的n（n-1）/2个基础矩阵。

在实际应用中，兼容性条件的研究具有重要意义。Kasten等人在2019年提出了一种投影结构运动算法，该算法应用了他们发现的兼容性必要充分条件。该算法能处理完整或部分的基础矩阵集合，目标是找到相机矩阵，使它们对给定的基础矩阵集合产生最小的全局代数误差。

在理论领域，Angst等人利用兼容性条件对临界配置进行了分类。临界配置是指在特定的相机和场景点分布下，三维重建可能变得不稳定或不唯一的情况。这些研究深化了我们对多视图几何学的理解。

兼容性问题的主要挑战在于找到明确的代数条件，这些条件必须是必要且充分的，能够判断一组基础矩阵是否兼容。过去的研究主要集中在特定情况下，如三视图或所有相机中心共线的情况，而对一般情况下的完整条件则知之甚少。

基础矩阵与相机之间的关系可以通过一个理论映射ψ来描述。对于两个34的相机矩阵P1和P2，ψ（P1， P2）返回它们的基础矩阵F12。这个映射只有在P1和P2的核（代表相机中心）有交集时才会退化为零矩阵。

在接下来的部分中，我们将详细探讨三视图情况下的兼容性条件，这是理解更一般情况的基础。

三视图的代数条件

三视图情况下的兼容性问题是最基本也是最早被系统研究的情况。在这个设置中，我们有三个相机P1、P2和P3，以及它们之间的三个基础矩阵F12、F13和F23。问题是：给定这三个基础矩阵，它们是否兼容？即是否存在三个相机使得它们产生给定的基础矩阵？

在Hartley和Zisserman的经典著作《Multiple View Geometry》中，他们提出了三视图情况下的必要充分条件。这些条件分为两种情况：非共线相机和共线相机。

对于非共线相机（即三个相机中心不在同一直线上），兼容性的必要充分条件是：

1. 每个图像中的两个极点必须不同。极点是指一个相机中心在另一个相机图像上的投影。

2. 三个所谓的＂三重约束＂必须成立：（e₁）ᵀF₁₂e₂ = （e₁）ᵀF₁₃e₃ = （e₂）ᵀF₂₃e₃ = 0

这里，eᵏᵢ表示第k个相机中心在第i个相机图像上的投影（极点）。这些条件在几何上有清晰的解释：它们确保了三个相机中心和任何一个场景点都在同一个平面上。

有趣的是，长期以来，人们错误地认为这些三重约束对于任何相机配置都是充分的。这个误解甚至出现在一些学术文献中。例如，在2007年，Angst等人声称这些条件对于共线相机也是充分的，但这一说法后来被证明是错误的。

对于共线相机情况（即三个相机中心在同一直线上），兼容性的条件有所不同。在这种情况下，三个相机中心共线意味着每个图像中的两个极点必须相同。具体来说，如果P1、P2、P3的中心共线，那么P1（kernel P2） = P1（kernel P3），这导致e₁ = e₁，e₂ = e₂，e₃ = e₃。

然而，仅仅满足这些条件和三重约束还不足以确保兼容性。实际上，还需要一个额外的条件：（F₁₂）ᵀ[e₁]F₁₃ = F₂₃，其中[e₁]表示e₁的叉积矩阵。这个条件确保了三个基础矩阵在共线情况下的一致性。

为了说明三重约束在共线情况下的不足，让我们考虑一个具体的反例。假设我们有以下三个基础矩阵：

F₁₂ = [[0，0，0]，[0，1，0]，[0，0，1]]

F₁₃ = [[0，0，0]，[0，0，1]，[0，1，0]]

F₂₃ = [[0，0，0]，[0，1，1]，[0，-1，1]]

以及对应的极点：

e₁ = e₁ = [1，0，0]

e₂ = e₂ = [1，0，0]

e₃ = e₃ = [1，0，0]

这些基础矩阵满足三重约束，但没有三个相机能同时产生这三个基础矩阵。这验证了三重约束在共线情况下不是充分条件。

三视图兼容性的研究不仅具有理论意义，还有实际应用。在三维重建中，我们经常需要从估计的基础矩阵中恢复相机。了解兼容性条件可以帮助我们判断这些估计是否合理，以及如何调整它们使它们变得兼容。

三视图条件的局限性在于它们只适用于三个相机的情况。当我们考虑四个或更多相机时，这些条件是否足够就成为一个重要问题。长期以来，人们认为只要每三个相机满足三重约束（称为三重兼容性），那么整个系统就是兼容的。这一信念在2010年代逐渐形成，甚至在一些学术文献中被视为既定事实。然而，这一信念是错误的，正如我们在后续章节中将看到的那样。

三视图情况下的兼容性条件为我们理解多视图几何奠定了基础。这些条件揭示了基础矩阵与相机构型之间的复杂关系，并引导我们思考更一般情况下的兼容性问题。

四视图的新发现

长期以来，计算机视觉领域的研究者普遍认为，只要三个相机之间的关系满足了兼容性条件，那么任意多个相机之间的关系自然也会满足兼容性。这种观点甚至在2018年的学术文献中仍被认为是正确的。但实际上，这种想法是错误的，特别是当涉及到四个或更多相机时。

为了打破这一错误认识，Bratelund和Rydell在2023年提供了一个反例。他们构造了六个基础矩阵F12、F13、F14、F23、F24和F34，它们两两之间满足三重约束条件，但整体上不兼容。具体来说，这六个矩阵是：

F12 = [[0，0，0]，[0，0，1]，[0，1，0]]

F13 = [[0，0，1]，[0，0，0]，[0，1，0]]

F14 = [[0，0，1]，[0，1，0]，[0，0，0]]

F23 = [[0，0，1]，[0，0，0]，[1，0，0]]

F24 = [[0，0，1]，[1，0，0]，[0，0，0]]

F34 = [[0，1，0]，[2，0，0]，[0，0，0]]

对应的极点分布如下：

在相机1中：e21 = [1，0，0]， e31 = [0，1，0]， e41 = [0，0，1]

在相机2中：e12 = [1，0，0]， e32 = [0，1，0]， e42 = [0，0，1]

在相机3中：e13 = [1，0，0]， e23 = [0，1，0]， e43 = [0，0，1]

在相机4中：e14 = [1，0，0]， e24 = [0，1，0]， e34 = [0，0，1]

尽管这些矩阵满足三重约束，但不存在四个相机能同时产生这六个基础矩阵。这个反例彻底打破了之前的错误认识。

四个相机之间的兼容性问题更为复杂，因为相机中心在三维空间中可能有多种布局。Bratelund和Rydell将这些可能的配置分为四种情况：

1. 通用情况：四个相机中心不共面，即没有一个平面包含所有四个中心。在这种情况下，每个图像中的三个极点不共线。

2. 所有相机中心共面，但没有三个中心共线。在这种情况下，每个图像中的三个极点各不相同且共线。

3. 恰好三个相机中心共线。在这三个相机的图像中，来自其他两个相机的极点重合，而第三个不同。在第四个图像中，三个极点各不相同且共线。

4. 所有四个相机中心共线。在这种情况下，每个图像中的三个极点重合。

对于通用情况，他们证明了兼容性的必要充分条件是：三重约束条件加上一个额外的方程：

e4123e2134e3142e4231e1243e2341 = e3124e4132e2143e1234e3241e1342

这里的eijkl表示＂极点数＂，定义为（ei j）T Fjk ekl。这些数值在几何上表示四个相机中心形成的四面体的体积关系。

对于其他三种情况，他们也给出了类似的必要充分条件。这些条件都可以表示为基础矩阵和极点的多项式方程。

这些发现不仅解决了长期以来的理论争议，还为实际应用提供了重要工具。例如，在处理噪声数据时，我们可以利用这些条件来调整估计的基础矩阵，使它们变得兼容，从而提高三维重建的准确性。

另一个重要发现是，四点兼容性实际上足以保证全局兼容性。具体来说，如果一组n个相机的所有四相机子集都兼容，那么整个系统必然兼容。这大大简化了判断大型相机系统兼容性的复杂度。

特别地，当所有相机中心共线时，三重兼容性实际上足以保证全局兼容性。在这种情况下，重建将是一组中心都位于同一直线上的相机。

这些研究还解决了兼容基础矩阵解的唯一性问题。除非所有图像中的极点重合（即所有相机中心共线），否则兼容的基础矩阵集合在投影变换下有唯一解。

理论扩展与应用

基础矩阵兼容性研究的一个重要方向是将理论扩展到任意视图图，而不仅仅是完整图。Bratelund和Rydell在2023年提出了一个循环定理，它为任意视图图上的兼容性提供了必要充分条件。

循环定理指出，一组基础矩阵{Fij}是兼容的，当且仅当存在矩阵Hi和非零标量λij，使得Gij = λijHiT Fij Hj满足循环条件：对于图中的每个有向循环C，∑（ij）∈E（C） Gij = 0。

这个定理将兼容性问题转化为寻找合适的标量和矩阵的问题，使得变换后的基础矩阵满足特定的代数条件。如果这样的标量和矩阵存在，那么原始的基础矩阵就是兼容的。

这个定理特别适用于相机是校准的情况，此时基础矩阵被称为本质矩阵。在这种情况下，兼容性与平行刚性（parallel rigidity）理论密切相关，这在校准相机的可解性研究中已经得到了证实。

循环定理还可以用来导出我们之前讨论的兼容性条件。例如，对于三个相机，循环定理意味着存在矩阵Hi和标量λij，使得λijHiT Fij Hj是反对称的，且满足λ12G12 + λ23G23 + λ31G31 = 0。从这个条件，我们可以导出三重约束e12F23e13 = 0。

同样，对于四个相机，循环定理可以用来导出通用情况下的额外条件。通过使用循环条件和一些代数操作，我们可以得到我们之前看到的条件。

Kasten等人在2019年和Cheng等人在2022年也研究了基础矩阵兼容性问题，他们提出了基于n视图基础矩阵的方法。n视图基础矩阵是将所有二视图基础矩阵拼接成一个大矩阵。

他们的结果表明，一组基础矩阵是兼容的，当且仅当存在非零标量λij = λji，使得n视图基础矩阵F = （λijFij）具有特定的秩和特征值条件。对于非共线相机，F应该是秩6，并且恰好有3个正特征值和3个负特征值。对于共线相机，F应该是秩4，并且恰好有2个正特征值和2个负特征值。

Bratelund和Rydell通过计算机代数系统Macaulay2的实验，证明了在通用情况下和所有极点在每个图像中重合的情况下，特征值条件实际上是多余的。这大大简化了兼容性的判断。

这些理论发现在实际应用中有重要意义。例如，在结构运动（structure-from-motion）算法中，我们经常需要从噪声数据中估计基础矩阵。知道精确的兼容性条件，可以帮助我们调整这些估计，使它们变得一致，从而提高三维重建的精度。

兼容性理论也与临界配置分类相关。临界配置是指在特定的相机和场景点分布下，三维重建可能变得不稳定或不唯一的情况。通过理解基础矩阵的兼容性条件，我们可以更好地识别和处理这些情况。

此外，这些研究还与可解性理论相关。可解性研究的是，给定一组相机，它们的基础矩阵是否有唯一解（在投影变换下）。这个问题在计算机视觉中有广泛的研究，特别是在校准相机的情况下。

总的来说，基础矩阵兼容性的研究为计算机视觉中的多视图几何提供了坚实的理论基础。这些研究不仅解决了长期以来的理论争议，还为实际应用提供了重要工具，帮助我们更准确地从二维图像恢复三维结构。

参考资料

1. Martin Bratelund &； Felix Rydell （2023）. Compatibility of Fundamental Matrices for Complete Viewing Graphs， ICCV 2023

2. Hartley &； Zisserman. Multiple View Geometry in Computer Vision.

3. Kasten et al. （2019）. Algebraic-Geometric Approach to Camera Auto-Calibration.