神经辐射场，让一眼所见从此不同

当生成式AI热起来，元宇宙仿佛归于寂寞，有人认为这个风口已经过去了。

但事实上恰好相反。

可以说，对AI的生成能力来说，元宇宙是最大的应用场景；对元宇宙来说，生成式AI是构建元宇宙的核心要素。

现在，它们相遇了。

——笔者按

01

火热的NeRF

简而言之，神经辐射场技术NeRF（Neural Radiance Fields，简称NeRF）是一种计算机视觉技术，用于生成高质量的三维重建模型，并较之传统的、已经非常成熟的三维重建技术有独特的进步。

如果要用最简单的方式概括NeRF的优点，大概你应该记住这三点：

第一，NeRF在处理有反光的场景上，比传统的方式效率要高很多。

而现实中有反光的场景无处不在，从各种水系、玻璃建筑物外立面等等。

而NeRF应用了深度学习技术后，很大的提高了实景三维数据的采集和处理效率。相比传统的三维重建方法，NeRF技术可以更好地处理遮挡、弱纹理和反光等问题，可以实现高逼真的虚拟环境渲染，使得可视化展示更加生动、真实和流畅。

第二，NeRF使用深度学习模型来模拟人眼对于现实世界的感知。这种模型可以捕捉到现实世界中的光线、颜色、形状、纹理等细节，通过多视角合成计算的方式实现场景目标的三维呈现。

第三，NeRF在提供从静态图片生成3D场景上，自动生成更高级别的数据，减少了人工修模的成本，提升了数据生产的效率。

从技术角度来讲，读者们记住这3点也就够了：提升效果、二维变三维、降低成本。

仅仅就凭借这些优点，计算机图形巨头们纷纷追加了对于NeRF的技术开发。

以英伟达为例，自发布以来，成千上万的开发者和内容创作者正在利用其开发的Instant NeRF技术构建了令人惊叹的3D视觉效果。

而现在，英伟达团队已经为这个将静态图像转换为真实3D场景的渲染工具增加了虚拟现实支持，亦即Instant NeRF in VR。换句话说，用户可以从静态图像渲染沉浸式场景，然后通过VR头显虚拟地进入环境，并在3D空间中自由移动。

这相当于打通了从3D场景渲染到应用落地（VR头显所需要的虚拟环境）的应用路径。

国内知名元宇宙创业公司AIRLOOK 的CTO由清圳，就此对笔者说了一番很有意思的话，他说：“将AirlookMap的既往工作，特别是在3D重建和渲染能力方面的积累，与NeRF的技术进行结合，能够满足许多特定应用场景的需求。”

”目前三维重建中的一些突出问题，例如对玻璃、水面等反光或透明物体的重建，最终重建的模型中可能会有孔洞、变形、细节丢失等问题，而NeRF可以合成照片级别的新视角，针对玻璃、水面等场景，重建的模型更加真实，细节更加丰富“，由清圳表示：”C端的用户只会感觉视觉体验更好了，但对于我们这个行业来说，这种新的技术路径是突破性的，AIRLOOK也是国内最早试图在NeRF方向上打开局面的企业之一。”

不过，严格来讲，NeRF属于AI技术的一部分，其中，国内知名企业商汤在人工智能领域拥有庞大的团队和丰富的积累，AIRLOOK在人工智能与空间计算结合以及产业化落地方面拥有丰富的经验，双方就此找到了合作的基点。

02

商汤和AIRLOOK如何走到一起？

值得一提的是，商汤和AIRLOOK的合作，首先是目前AI在垂直行业落地的一个典范性的合作，其次才是一次技术层面的相互奔赴。

截止目前为止，国内外AI领域遇到的一个普遍难题是，真金白银烧出来的AI技术在实践中成功落地的并不算太顺利，而从财务意义收回成本更尚未遥远。

即使是目前最火热的生成式大模型，也在遭遇到商业化落地的难题，其中一个很重要的原因，就是它们想要用AI能力进行改造的传统行业，缺乏相关领域的人才积累、技术底蕴和优质的训练数据集。

并非国内的千行百业不欢迎AI技术，而是在现实中存在一个具体的悖论。

那就是，越有数据积累和应用需求的企业，往往都是从信息化时代走过来的巨头，如卫星、石油勘探、海洋研究等，他们的信息化是从二十到三十年前就开始了，虽然存量的数据资源非常丰富，但行业的技术壁垒非常高，AI企业很难击穿这种历史壁垒。

而在云原生、AI原生时代就开始进行数据积累的企业，则往往历史较短，换言之其开发潜力总体上受限于有限的积累，缺乏行业标杆级的意义。

而商汤遇到的AIRLOOK，恰好兼具以上两者之长。

一方面，AIRLOOK是一个重数据资产的企业，这和其是从无人机测绘并制作元宇宙地图为起始点不无关系。

具体说来，AIRLOOK具备的底蕴，在创业企业中是不多见的。它们有甲级测绘资质甲级测绘资质，具有全闭环的无人机采集技术，同时也在三维重建与渲染方面拥有全新并且完整的技术体系。

另一个方面，AIRLOOK不是一家闭门造车的企业，由清圳认为，AIRLOOK持非常开放的态度欢迎能够提升其竞争力的外在能力注入，这是使得双方的合作得以顺利开展的很重要的要素。

再一方面，AIRLOOK具有的大量真实的已落地案例，让商汤的技术大有用武之地。

目前，AIRLOOK已经在文旅、智慧城市、元宇宙平台等方面，有多领域的实践。

重点在实景三维、数字孪生的相关领域展开合作。

例如，AIRLOOK将把自己多年积累的大规模实景三维数字底座，与商汤的NeRF技术进行深度融合，以实现物理世界的多级刻画，从而高效的实现对多元场景的逼真还原。

而从技术的角度来看，目前NeRF已经和AirlookMap Studio产品完成整合对接。这将加快AIRLOOK利用NeRF的效率，在一系列重点用途上，如丰富场景重点建筑细节，还原整体场景样貌等方面，将为文旅、建筑、工业制造、智慧城市等广泛行业用户提供三维数字化服务，推动三维数字化产业快速发展，未来这一整体产品将为整个行业提供一体式服务。

03

不错失时代给予的机会

NeRF虽然目前只是在有限的领域展现出不凡之处，但它具有宏大的潜力。

来自 Google AI 和谷歌投资的自动驾驶公司 Waymo 的研究人员实践了一个新思路，他们尝试用 280 万张街景照片重建出整片旧金山市区的 3D 环境。

在这次实践中，通过大量街景图片，谷歌的研究人员们构建了一个 Block-NeRF 网格，完成了迄今为止最大的神经网络场景表征，渲染了旧金山的街景。

这项技术被谷歌大神Jeff Dean转发到社交网络后，引发了广泛关注。

而备受关注的原因是，NeRF在早期的工作往往被视为侧重于小规模和以对象为中心的重建，例如单个房间或建筑物大小的场景，而谷歌的尝试意味着，NeRF对于重建大规模环境同样具有潜力，突出体现在在自动驾驶、航空测量等领域具有广泛应用前景。

不过其缺陷也很明显：即模型需要同一个场景（scene）的多个视图（views）作为监督学习的输入。

简单说就是，如果你要给一个人生成3D模型，你必须围绕这个人拍摄很多张照片，这其实又走回了传统3D渲染的老路。

但随着技术的演进，新的NeRF模型需要的图片数据越来越少，而生成质量越来越高，这显示NeRF的主要瓶颈将被突破。

而结合AIRLOOK的业务方向，我们至少可以在两个领域期待NeRF带来的变化。

其中一个是AIRLOOK的实景三维数据生产及可视化可以明显的效率提升。

实景三维数据在城市规划、文化保护、自然资源管理等领域的应用越来越广泛，而AIRLOOK在这些领域都有已经落地的项目，而NeRF技术的应用可以加速这些领域的应用进程。例如，在城市规划中，NeRF技术可以提供高逼真度的城市模型，提高了规划效率和决策准确性。

而更重要的是，对于AIRLOOK的看家本领——实景三维地图领域，NeRF将带来的可能是个革命性的变化。

而其中最基本的，是通过现有的实景三维数据实现更加逼真的场景重建和渲染，为地理信息行业提供更加准确、实用的数据支持，并同时降低成本。

有人把元宇宙理解为现实世界的虚拟景象，也有人更深一步的理解为利用新的技术重构人的五感后创造一个新的世界。

但无论是哪种定义，元宇宙本身就需要大量的内容（此内容是广义上的）来填充，AI与元宇宙必将相会，必将产生叠加式创新，而这一趋势在目前已见端倪。本文要提及的神经辐射场技术NeRF（Neural Radiance Fields）就是之一。