沉浸声专题讨论二：《沉浸声—声音情景的重构与创造（下）》

—编者按

随着技术发展和时代进步，“沉浸声”这一概念俨然已成为了当前音频界最热的词汇，除此之外，还有很多雷同的名词，如全景声、全向声、3D音频、空间音频等，但究其根本，如何理解这些名词，又到底什么样的声音可以被称之为沉浸声呢，各位业界人士在不同场合中也听到了众多不同的说法和解释。

于是针对这一概念，魏增来、耿依杨、徐晓轶老师展开一次专项讨论，就沉浸声的具体定义、实现方法、不同场景下的具体应用以及未来发展等环节展开讨论，希望能够抛砖引玉，通过与业界各位同仁的深度探索与争鸣，为正确理解所谓沉浸声并促进其在大音频领域的良性发展共同努力。

本期从“沉浸声的主要用途、沉浸声技术亟待解决的问题、总结与未来展望”三方面与大家展开相关讨论～

沉浸声——声音情景的重构与创造（下）

魏增来 耿依杨 徐晓轶

中国传媒大学

正文

四、沉浸声的主要用途

技术的多种实现路径最终都需要归于该技术在现实生活中的实际应用，沉浸声也不例外。从电话传声到留声机放音，声音重放的最初目的就是在另外一个时空内传递其他时空声音的信息含义，即通过重放另一个时空采集的声音信号来传递基本的内容、语意乃至情绪等，而这恰恰也是电声系统之所以得到发展的最为基本的要求和目标。随着技术的不断进步，当通过电声重构以传递信息含义的目标已经能够较为完美的实现时，人们继而开始追求在特定的应用场景下利用声音实现跨时空的写实还原，即在演艺、演讲等应用场景中突破时空壁垒，在声音层面，将现场氛围和人物情节为观者真实的重现出来，使他们能够完全沉浸和代入到上述场景之中，我们可以将其描述为“写实还原”，目前这依然是声音重放角度较高标准的目标和追求。而在这一目标之上，对于日常生活中不甚常见甚至是从未体验过的声音场景或听音角度，就需要类比现实中的同类声音情景，通过联觉和通感来产生联想，重构和丰富人们对声音的审美体验和主观映射，即“写意联想”，如太空船飞行的声音、恐龙的嘶吼亦或乐队首席位置所听到的交响乐等，这其实有些类似于我们人类从呱呱坠地后不断建立听觉映射的过程。当然，其实自从电声系统开启了不同时空的声音信息传递后，这种写意创造就一直存在，不过笔者认为，越是基于“写实还原”的“写意创造”，就越能顺理成章，也越容易形成听觉映射。

综上可见，电声化重构声音的作用从主要信息含义传递逐步发展到写实还原具体场景，同时又不断追求写意创造人类未知的声音，并因此而获得一种“来源于生活，但高于生活”的、更高一层的人文体验，这一递进的过程既反映出技术的不断革新和进步，也反映出人类听觉映射的不断补充和更新，同时还反映出人类声音审美的不断提高和变化。基于此，沉浸声的用途也就呼之欲出了。

（一）沉浸声的写实表达：重构复刻声音情景

首先，沉浸声最重要的用途是重构复刻某一声音情景。为便于阐述，我们以演艺情景为例：假设观众置身于某一场话剧中，当现场的音响效果真实还原了该剧相关情节下的某一场景，如幽暗的、蝙蝠时而飞过的巨大山洞时，通过沉浸声良好再现演员空旷的人声、周围逼真的滴水声以及蝙蝠头顶掠过的音效，就可以使观众体会到其完全与剧情中的人物同处于同一时空下，从而更好地产生代入感。结合演员肢体表演的视觉调动以及台词内容，相信观众更能够充分进入戏剧空间并融入剧情，感受到强烈的紧张和不安情绪。此时，现场音响所追求的目标就是写实地重构复刻某一声音情景，使听者通过真实感产生共境的感受，从而更好的与剧中人物共情，体会到所复刻的空间场景下人物的思想感受与情绪变化，进而充分体现出文艺作品所传达的情感内涵以及所蕴藏的艺术价值。

图6即为舞台剧《弗兰克斯坦》的剧照、部分扬声器布局及沉浸声处理界面中的声源对象设置。本剧中，导演及音响团队通过沉浸式扩声，在保利剧院重构了多场基于现实生活的声音情景，使观众由“声”临其境到“身”临其境再到“心”临其境，充分支撑了整个剧目的艺术表达。

图6：舞台剧《弗兰肯斯坦》剧照、部分扬声器布局及沉浸声处理界面示意

这里特别值得一提的是，在这种声音情景复刻过程中，逼真度是非常重要的。而采用扬声器重放形式的沉浸声，可以通过点对点方式将声源对象按空间位置关系馈送至相关的主扬声器，亦或利用沉浸声处理器的去相关算法（沉浸声处理器都必须具备这样的功能，只不过是质量好坏而已），降低同一声源对象分配至不同扬声器时各扬声器之间产生的相干声源的声干涉现象，这样就有效提升了声音重放质量和解析度，由此也可以更加高保真地再现声源特征，亦或说更加逼真。

此外，对于近年来国内国际均得到较为广泛应用的电子可变声学环境系统，笔者认为其本质其实也是沉浸声“重构复刻声音情景”一种应用，只不过这类沉浸声系统中所呈现的声源对象不再是各类直接的发声源，如人声、小号等，而变成了由各类建筑结构界面所产生的各级次、各方位的反射声，通过对这些反射声声源对象的重构，来复制教堂、音乐厅等某一种声音空间。图7所示的芝加哥千禧公园就是这种应用的代表之一，它利用E-Coustic电子声学环境可变处理主机，通过多组扬声器虚拟反射和扩散声能，在室外草坪重构出了类似于室内音乐厅的听感空间。

图7：芝加哥千禧公园室外音乐厅

（二）沉浸声的写意表达：联想创造声音情景

在日常生活中，出于种种目的，我们有时候会去虚构某一个声音情景，尤其是在艺术创作时，这种虚构的声音情景会被大量运用，从而试图将观众代入某些超现实的情景中，以达到与艺术表达共境、共情的目的。实际上，这种声音情景在现实生活中是不存在的，是一种超越真实的写意场景，如外星战舰掠过，但它与现实生活中某些场景有着一定的相似度（如大型飞机启动、大型钢铁构件移动时产生的低频振动等），通过这些类似的、高逼真度的沉浸式声音播放，就会使观众在脑海中产生联觉，通过日常生活中听觉经验和主观映射之间已经建立起来的联系，来想象相关节目的声音元素或声音景观是什么样的，即通过联想来创造出合理的声音情景。此时，这种虚构在某种意义上也需要体现出强烈的真实感，以便与现实生活中类似的声音情景相关联，这样才能充分激发观众的联觉想象，实现由观众内心发起的再创作，使其理所当然地认为自己已经身临其境，进而与情节中的人物或事件共情。同时，这种想象中的声音情景也兼顾了听觉映射建立和音响美学立美的作用，即通过对特定声音情景地创造，使听者逐渐建立起对非日常场景的一种主观映射和审美认同。尽管这种情景映射和审美认同不一定是完全正确的，但通过长期的、一致的刺激，它依然会帮助我们形成某种听感效果与超现实声音情景的联系，并完成审美、立美的过程。

音乐剧《我在时间尽头等你》采用了基于对象的现场沉浸式扩声技术，其中一幕利用围绕在观众席四周的扬声器，完成了钟表分针围绕整个厅堂进行逆时针旋转的声音设计，使观众仿佛置身于巨大的倒转的时钟当中，从而营造出非日常生活化的时间倒流的感官体验。在这种声音情景烘托下，结合舞台剧情的表演，充分展现了男女主人公生死诀别、期望重新相遇的激烈情感。这一写意创造声音情景的手法，既使得整部戏剧的发展达到高潮，也让观众身临其境的感受到跨越时空的代入感，同时还能够激发出观众对时光倒流这种超现实场景的声音印象，从而为戏剧呈现和观众体验都带来了良好的支撑。图8即为《我在时间尽头等你》的剧照及相关沉浸声处理界面设置。

图8：《我在时间尽头等你》的剧照及相关沉浸声处理界面设置示意

五、沉浸声技术亟待解决的问题

近年来，随着信息处理技术的快速进步，沉浸声发展迅猛，并取得了长足的进步，但总体来说，目前依然存在很多的问题，简而言之，可以归纳为两方面：一是沉浸声在呈现感知上还“不太像”，即经过重放的沉浸声与原始声场感知仍存在明显差异；二是使用操作方面“不那么好用”，使用起来较为复杂，不够方便、快捷。

（一）呈现感知层面

耳机重放中，最理想的方式是在录音端或重放端加载个人HRTF，但由于实际条件的限制，不可能去测量每个听音者的个性化HRTF，因此在听感呈现上难以与具体个体匹配。即HRTF普适性不足，难以个性化。

观演“交互”的程度依然很浅，视、听呈现相对割裂，代入感会经常因此“出戏”。比如电视转播，虽然镜头视角转变了，但是声音依然没有变。再比如用耳机重放时，头部转动与声音跟随之间交互不足的问题表现的也非常明显。虽然目前游戏类沉浸音频中采取了一定措施来保证这种声音与视线的追随感，但其效果还不是非常完美，其他场景中的应用也不广泛，所以如何有效融合视、听这两个方面还有待深入思考，尤其采用耳机重放时。

基于扬声器重放的基础理论都需要在理想化的条件下才可实现对声场的还原，但现实中不可能出现无限量、无限长或无限密集的扬声器阵列，所以必然需要在实际应用中对理想算法进行简化，并因此对沉浸声的实现效果产生了较大的影响。所以，进一步优化算法，在效果和可实现性之间取得良好的平衡仍是未来更深一步的研究方向。

扬声器重放时，重放空间本身的声学环境（反射声、混响声等）会与拟重构的空间声学环境产生交互影响。

扬声器的物理性能参数（如频率响应、灵敏度等）都存在或多或少的差异，尤其是同一声学空间采用不同型号的的扬声器时，这种特性差异及其在沉浸声处理器中预先建立的空间布局模型与实际现场情况的符合度均会对呈现结果产生严重影响，需要依靠调试将扬声器的重放特性调整成一致，但这几乎是不可能完成的任务。

目前绝大部分沉浸声处理器对声源特征和空间特征的模拟是分离的，声源特征与空间特征的结合度不足，而现实生活中，两者是紧密结合的，比如当建筑结构界面的特性一致时，对于空间位置偏右侧的声源，位于右边的听音者一定会听到更多来自右边的反射声。

（二）操作实现层面

沉浸声处理器的用户UI界面仍不够友好，易用性、便利性不足，与现场声音主控设备（如调音台）之间的同步关联急需加强。

扬声器重放时，在不同扬声器布局及选型之下的系统整体可迁移性仍有待提升。

普遍存在可实现性问题，如扬声器安装仍然会受到观众视线遮挡、建筑结构承重不足等众多限制，调试困难，前期预制作的工作量大等。

六、总结与未来展望

综上所述，虽然目前业界对于沉浸声和沉浸声系统的定义没有统一标准，但通过中文及英文的语意并结合声音学科的发展历程和当前的技术现状，可以认为，沉浸声是指可以从水平、纵深及高度三个维度呈现声音信息的声场。该词语多用于电声系统，而该类系统的最终目的都是为了通过技术手段来重构复刻我们日常生活中真实声音情景的听觉感受。

技术的发展和应用需求是相互促进、相辅相成的，沉浸声也不例外。虽然通重构声场的基础理论早已存在，但只有信息技术发展到足够强大的程度，沉浸声技术才能得以发展，并反过来验证、优化相关基础理论。所以，对于沉浸声这种新技术的发展，我们要给予它足够的时间和空间，要有耐心和包容心等待这项新技术变得更加成熟和实用。不过，毋庸置疑的是，沉浸声技术未来一定会向着“越来越像”和“越来越好用”这两个目标去努力发展，即先要达到效果“逼真”、其次声音效果要和听音者能产生良好的“互动”，同时，还要努力使沉浸声的实现过程变得更加便捷、更加“智慧”。

拓展链接：

审核 | 编辑部

来源 | 魏增来 耿依杨 徐晓轶

设置星标，让你不再错过声光视讯行业动态！