“虚拟3D”交响音乐会，实时演奏堪比现场—疫情时期商业地产的新尝试

（原标题：“虚拟3D”交响音乐会，实时演奏堪比现场—疫情时期商业地产的新尝试）

容积视频是一种全新的3D视频制作技术,它运用上百个高分辨率的摄像头从多个角度捕捉人像和动作,还原三维空间中的场景。这项技术可用于制作VR电影,或是打造AR、MR内容。

近日,广州市某商场正策划举办一场大型虚拟音乐会。来往顾客们只需掏出手机对准舞台区域,便可从不同角度看到3D动态真人表演者在真实的空间中演出。而音乐家是无法真实触摸的,他们是提前用容积捕捉的方式录制好,再通过基于位置的AR方式全息投放在商场中。人们可以听到交响立体声的音乐会演奏现场,演奏者无需跨城甚至跨国来到广州的商场现场,解决了疫情期间跨区域需隔离等诸多不便之处,也为商场聚集了不少人气。

人们拿出手机对着空地打开摄像头,带上商场提前准备好的AR眼镜,即可身临其境观赏音乐会,并支持不同距离和角度的调整,观众们戴着口罩保持距离也不影响观赏体验,可以说每个位置都相当于音乐会的贵宾票了。

这场音乐会所依赖的影像技术,是2015年才投入商用的容积视频技术。目前全球仅有10多家容积视频捕捉方案制作商,由于技术门槛较高,因此其中大部分是微软、谷歌以及一些美国、西欧的技术型创业公司。本次活动的技术支持来自深圳普罗米修斯视觉技术有限公司(以下简称普罗米修斯视觉),是一家提供第二代容积视频解决方案的国内厂商。公司于2018年在深圳成立。以轻型的容积视频技术,一方面为客户提供整套容积视频捕捉解决方案,包括动态3D拍摄方案搭建、拍摄软件、以及售后服务,API、SDK嵌入式服务;另一方面还提供按时长收费的拍摄服务,用户只需到指定地点去拍摄,现场可取处理好的3D容积视频,并通过提供的API、SDK,轻松嵌入到自己的产品中。

这项来自普罗米修斯视觉的第二代容积视频解决方案,其核心优势是用深度学习等算法弥补消费级相机的精度缺失,仅使用可拆卸的移动摄影棚和轻量消费级相机拍摄,就可达到第一代的制作效果。同时,通过优化流程提高处理速度,可实现实时制作容积视频,一分钟拍摄内容能在一分钟内制作成15-20帧的视频,做到“所拍即所得”。

在普罗米修斯视觉的创始团队中,4个合伙人中有3人都是技术出身,曾任职于联想香港研究院、OPPO视觉算法部门,对高性能计算、计算机视觉、计算机图形学等方面有较为深入的研究和实践。CEO张煜是清华大学计算机系博士,所在实验室是微软亚洲研究院合作成员。团队成立之初即拿下了当年深创赛总决赛的二等奖,并在之后陆续获得2019年中国创业武林大会新芽榜百强企业、2019年金V奖最佳应用企业奖等荣誉。

容积视频技术从2015年出现已经有了数年的发展,第一代技术由谷歌、微软等大公司引领,大部分厂商拍摄时都会搭建一个厂房般大小的“摄影棚”,运用棚内大量的摄影机记录下一切光影变化,传输到机房后,最终通过电脑制作视频。这种方式可以较为真实的反映世界,但需要极高的成本和专业的拍摄剪辑技术。因此收费也一直比较高昂,微软在美国的容积视频捕捉设备一天的使用费为20000美元。还有一个更大的问题是,制作时间也较长,1分钟容积视频需要处理6-8个小时。因此,视频应用方通常会抱怨第一天的拍摄内容,在第二天才发现有问题,造成成本和时间的浪费。

第二代容积视频技术则在第一代的基础上,使用更轻量化的设备、实现实时制作视频、且成本较低,整体大幅提高了解决方案的性价比。

随着经济和科技水平的发展,消费者们对于文化娱乐创新体验的需求日益增加,愈发渴望能够减少时间和金钱成本,获得更加丰富的感官体验。这对商业地产类、文化活动类等行业都是经营与创新能力的挑战,而第二代容积视频的出现,相信未来在客户引流和提升场景体验等方面,会有更多创新灵感的碰撞与互动形式。