苹果专利分享iPhone 3D拍照技术细节：创建3D表示不完整的3D照片

（映维网Nweon2023年09月26日）根据早前社区的情报，未来的iPhone Ultra似乎能够拍摄空间图片和视频，并允许用户通过苹果VisionPro进行浏览查看。

相关专利：数码博主称未来iPhone Ultra的拍照摄像会围绕Vision Pro设计

照片通常是从单一视点捕获的物理环境的2D表示。这类照片通常是在2D电子设备查看，没有深度。3D图片则是具有深度。但对于iPhone Ultra这样的设备，直接拍摄的3D照片可能只有正面数据而没有背面数据。换句话说，对于电子设备获得的3D照片，而它是不完整的3D表示。

所以应该如何应对呢？在名为“3d photos”的专利申请中，苹果提出了一种创建和查看物理环境不完整3D表示的3D照片的方法。

在图3中，XR模块340配置为创建、编辑、呈现或体验XR环境。3D照片呈现单元350配置为在XR环境中呈现3D照片。3D照片呈现单元350配置为基于相对于3D照片在XR环境中的放置位置的查看位置来确定3D照片的呈现模式。

在一个实施例中，3D照片呈现单元350可用于获取或创建3D照片。3D照片的示例包括视差3D照片、1:1比例3D照片、多视图3D重建照片、3D全景照片等。

对于任何类型的3D照片，图像捕获设备或附加传感器可以在创建3D照片时同时或大约同时捕获照明信息。例如，从用于3D照片的图像捕获过程中，可以在特定图像中检测到镜面高光，并用于确定物理环境的照明。

在一个实施例中，来自用于创建3D场景的多个图像的阴影可以提供该物理环境的照明信息。或者，除了图像捕获设备捕获的数据之外，同时可以记录关于照明条件的元数据。例如，一天中的时间和位置信息可以用来确定物理环境的照明信息。

在一个实施例中，图像捕获设备包括附加传感器，例如环境光传感器白平衡传感器，以并发或大约同时捕获照明条件。

对于任何类型的3D照片，图像捕获设备或附加传感器用于确定3D照片到位置参考的空间关系。3D照片与位置参考的空间关系用于在XR环境中定位或放置3D照片。

例如，可以在创建3D照片时确定3D照片与物理环境的地平面的实际尺寸或空间关系，然后模拟相对于地平面在XR环境。所以，可以在查看期间为XR环境中渲染的3D照片复制捕获期间物理环境中3D照片主体之间的地平面对齐。

在一个实施例中，地平面与图像平面或平面2D表面呈90度，2D/3D图像在其上以透视方式绘制或投影。

在另一个例子中，当一个人在3D照片中被捕获时，他靠在房间的墙上，然后在XR环境中模仿相对于田野中的一棵树的倾斜空间关系。因此，在捕获期间3D照片到物理环境中的位置参考的空间关系可以在查看期间复制到XR环境中渲染的3D照片。

在一个实施例中，对于任何类型的3D照片，只提取3D照片的特定部分。例如，当拍摄对象是办公室里桌子和椅子后面的人时，办公室周围的家具在通过图像捕捉设备拍摄3D照片的过程中不会发生太大变化。

所以，可以提取桌子后面的人的cutout，并将其用作XR环境中的3D照片cutout。cutout可以具有任何三维形状或大小。在一个实施例中，cutout的3D形状是基于情景或语义分割。cutout的3D形状基于用于3D照片的图像捕获期间图像捕获设备的运动。另外，XR环境中的照明条件(用于渲染3D照片cutout。

在一个实施例中，3D照片是从传统方式在物理环境中捕获的图像和深度数据创建。所创建的3D照片具有有限范围的3D视点。

例如，当从面向一罐苏打水的正面拍摄的图像中创建3D照片时，3D照片中关于苏打水罐头背面的信息十分有限。所以，随着XR环境中汽水罐3D照片的视点从直接面向汽水罐3D照片正面的视点移动，汽水罐3D照片视点中缺失像素的数量或百分比将会增加。

所以，可以将各种技术用于在XR环境中呈现或渲染3D照片。

在一个实施例中，呈现模式用于基于查看电子设备相对于XR环境中3D照片的放置姿势的查看位置来呈现或呈现XR环境中的3D照片。呈现模式基于视点POV限制或距离。另外，可以通过从查看位置检测用于3D照片视图的有效像素的数量或百分比并将其与标准或阈值进行比较来确定呈现模式。

在一个实施例中，3D照片描绘在XR环境中的虚拟对象上或内部。当在虚拟对象或XR环境中物理对象的表示上或内部描述时，3D照片的表示模式可能会改变。

在一个实施例中，3D照片视为进入3D照片的场景的门户。换句话说，显示3D照片的门户可以在XR环境中包含一个2D平面，当用户查看所述平面时，所述平面将以3D形式显示3D照片的场景。

显示3D照片的门户将以3D方式显示3D照片的场景，而进入门户的视点在有效查看区域内，但当视点在有效查看区域之外时，将转换为显示3D照片的3D场景的2D表示，以防止用户能够看到3D照片中对象的缺失数据。

参考图4，物理环境405包括由第一用户使用的第一电子设备420和由第二用户使用的第二电子设备425。在本例中，环境405是一个房间，其中包括图片430和桌子435。

这两个设备420和425可以单独操作或与未显示的其他设备交互，以捕获环境图像，检测或追踪图像中的对象，或基于图像和检测/跟踪的对象呈现XR内容。

图5是第一或第二设备420、425的框图。如图5所示，第一或第二设备420、425显示XR环境500，包括图片430的描述530和桌子435的描述535。在一些实现中，XR环境500由第一设备420和第二设备425共享。

图6A是在XR环境中呈现3D照片。在一个实施例中，提供3D照片650位于XR环境500中的指示655。如图6A所示，当查看电子设备位于查看区域660内时，所述3D照片650对查看电子设备的呈现方式为3D呈现方式。

例如，当查看电子设备在查看区域660内移动时，查看电子设备将呈现3D照片650所描绘的环境，使其像从不同角度查看的典型3D环境一样响应。

如图6B所示，当所述查看电子设备位于XR环境500中的查看区域660之外时，所述3D照片650对所述查看电子设备的呈现方式为2D。

例如，当查看电子设备移动到查看区域660之外时，由3D照片650描绘的环境将由查看电子设备呈现，使得它不像从不同角度查看的典型3D环境那样响应，而是以平面2D图像呈现。

在一个实施例中，可以选择查看区域660的位置和大小，使得查看电子设备在查看区域660内部时能够满足查看标准或呈现3D照片650的有效像素的数量或百分比。

在一个实施例中，查看区域660的位置和大小可以取决于用于创建3D照片的捕获会话期间图像捕获设备的捕获位置，以及XR环境中3D照片的位置和方向。

例如，在用于相对于一个或多个捕获对象创建3D照片的捕获会话期间，图像捕获设备的捕获位置可用于确定3D照片与查看区域660之间的相对偏移量，因为图像捕获设备能够从所述角度获得3D照片的有效像素数据。

在一个实施例中，向用户显示查看区域660的指示。在其他示例中，没有向用户显示查看区域660的指示。

在一个实施例中，3D照片650中的光线或阴影会影响XR环境500的呈现，XR环境500中的光线或阴影会影响3D照片650的呈现，或者两者兼而有之。

例如，如果3D照片650包含一个明亮的红光，红光可以投射到XR环境500，就好像一个红色光源放置在3D照片650的位置。这可以使3D照片650看起来好像它实际上是在XR环境500。

在一个实施例中，只有当XR环境500中的3D照片650的尺寸大于阈值时，或者当3D照片650的光或阴影的强度或其他特征大于阈值时，才能应用照明或阴影影响。同样，只有当XR环境500中光源或阴影的大小大于阈值或XR环境500中光线或阴影的强度或其他特征大于阈值时，照明或阴影影响才能应用于3D照片650。

如图7所示，在虚拟相框530 ‘中，在XR环境500中呈现3D照片750。当查看电子设备位于第一查看区域760内时，所述3D照片750对所述查看电子设备的呈现方式为3D呈现方式。

在一个实施例中，当所述查看电子设备在XR环境500中的第一查看区域760之外但在第二查看区域770内时，所述3D照片750对所述查看电子设备的呈现模式是模糊的。

在一个实施例中，模糊呈现模式可以包括模糊所有3D照片750。在其他实施例中，模糊呈现模式可以包括呈现具有有效像素的3D照片750部分而不具有模糊效果，但呈现具有无效像素的3D照片750部分而具有模糊效果，从而隐藏缺失信息。

在一个实施例中，可以应用3D照片的模糊和未模糊部分之间的逐渐过渡。当所述查看电子设备位于XR环境500中的第二查看区域770之外时，所述3D照片750对所述查看电子设备的呈现模式为“不显示”，所述查看电子设备将仅呈现所述墙壁的描述530。

在一个实施例中，可以选择查看区域770的位置和大小，使得查看电子设备在查看区域770内部时能够满足查看标准或呈现3D照片750的有效像素的数量或百分比。所述查看标准或有效像素的百分比可以低于用于确定查看区域760的标准。

在一个实施例中，查看区域770的位置和大小可以取决于用于创建3D照片的捕获会话期间图像捕获设备的捕获位置以及XR环境中3D照片的位置和方向。

例如，在用于相对于一个或多个捕获对象创建3D照片的捕获会话期间，图像捕获设备的捕获位置可用于确定3D照片与查看区域770之间的相对偏移量，因为图像捕获设备能够从所述角度获得3D照片的有效像素数据。

在一个实施例中，3D照片750中的光线或阴影可以影响XR环境500的呈现，XR环境500中的光线或阴影可以影响3D照片750的呈现，或以类似或相同的方式影响上述关于3D照片650的描述。

图9示出在XR环境中呈现3D照片的流程图。3D照片是一个不完整的3D表示，因为至少从特定角度来看，大量的视图是不完整的。在一个实施例中，基于图像捕获设备捕获的一个或多个图像创建3D照片。

在910，获得3D照片，包括基于由图像捕获设备捕获的一个或多个图像创建的不完整3D表示。3D照片包括视差3D照片、1:1比例的3D照片、多视图3D重建照片或3D全景照片。

在920，确定设备相对于3D照片的放置位置的查看位置。3D照片的空间位置是为XR环境中的3D照片确定的。例如在920，方法900确定3D照片在XR环境中的放置位置。另外，查看电子设备的空间位置对于XR环境是已知的。

在930，基于查看位置确定3D照片的呈现模式。3D照片可以与一个或多个查看区域相关联，并且相应地确定呈现模式，例如3D、模糊、2D、根本不显示。查看区域可以基于创建3D照片期间的捕获条件。可以通过确定用于从所述查看位置查看所述3D照片的有效像素的数量或百分比并将其与标准或阈值进行比较来直接评估所述查看位置。

例如，当超过95%的体素有数据时，3D照片将以3D方式渲染；当70-95%的体素有数据时，3D照片将以2D或模糊方式渲染；当低于70%的体素有数据时，3D照片将被删除或根本不渲染。在一个实施例中，可以向查看电子设备的用户提供3D照片的表示模式之间的转换。

在940，根据XR环境中的呈现方式在放置位置提供3D照片。可以基于设备相对于3D照片的放置位置的第二查看位置进一步修改3D照片，或进一步修改呈现模式。表示模式包括3D表示模式、模糊表示模式、2D表示模式，或者从XR环境中移除。

在一个实施例中，3D照片的光照或阴影会影响XR环境，因为XR环境中的3D照片的大小大于规定的阈值。

在一个实施例中，可以基于平滑技术，从查看位置填充3D对象视图中缺失的像素/体素。例如，可以在查看位置的3D对象视图中缺失的像素/体素基于具有图像值或深度值的附近像素/体素进行填充。

微软指出，在3D对象的视图中填充缺失的像素提供了对3D照片中的间隙或缺失像素的艺术处理。模糊3D对象视图中的缺失像素提供了对3D照片中的间隙或缺失像素的艺术处理。在一个实施例中，仅当缺失像素低于预设阈值时，才执行3D对象视图中缺失像素的填充。

相关专利：Apple Patent | 3d photos

名为“3d photos”的苹果专利申请最初在2022年11月提交，并在日前由美国专利商标局公布。