沉浸与叙事: 新媒体影像技术下的博物馆文化沉浸式体验设计研究

图片来自：tellart

摘要

当前的博物馆文化“现场”体验正在发生着改变，新媒体影像技术越来越多地应用于叙事性语境中，把藏品相关的故事更好地讲述给观众，创造情境和叙事性，让观众产生身临其境的沉浸式体验。

博物馆作为一种文化的叙事主体，通过叙事媒介、叙事空间、叙事故事、叙事受众让文化的认知与沉浸式体验相结合，以启发文化之美、文化之精、文化之深、文化之大众的传承与创新。

关键词： 审美文化；博物馆；新媒体影像技术；叙事性；沉浸式体验；文化传承

习近平总书记提出，“让历史说话，让文物说话，把历史智慧告诉人们”。让博物馆文化活起来，让观众与博物馆文化遗产互动，从“以物为本”走向“以人为本”的沉浸式体验，是如今博物馆文化发展的最大议题。博物馆学专家科特勒在研究博物馆的发展轨迹时这样认为:传统博物馆是“收藏导向”，重视文物本身，现代博物馆是“教育导向”，侧重观众的学习；后现代博物馆是“体验导向”，除了收藏和教育功能外，更多研究观众参观的动机、需要、期待和体验。［1］30－39，58－61

简·基德教授研究表明:一场有组织、未声明的文化运动正在形成，新媒体影像技术已经从根本上改变了科学知识分布，让文化遗产的实践走向世界文化深度、多元化发展的强劲之路。2012年未来博物馆研究中心得出的趋势“博物馆，我的文化”，预见未来博物馆实践的核心是改变叙事概念和创造性的文艺复兴。博物馆学两个杰出的专家福尔克（JohnFalk）和迪克林（LynnDierking）发现:最好的博物馆体验就是具体化、沉浸式的、社会化的、好奇的、协助的、富有挑战性。

“沉浸式体验”是当下博物馆行业流行词之一。观众的期望不断增长，他们要求更多的情境互动，与文化对象有情感性的交流，创造自己的体验。新媒体影像技术使沉浸式体验更加丰富，通过叙事性故事，创造身临其境的沉浸式体验，是博物馆体验的关键。麦克卢汉（Mclunhan）认为:“如果博物馆想在当今媒体饱和的世界向广大观众提供身临其境的沉浸式体验，那么就需要理解并接受21世纪的媒体技术。”这表明21世纪的媒体技术在博物馆文化展览上有极大的潜力去创造和营造沉浸式叙事性故事，提高感官参与度，建立文物和对象更深刻的认知，加强情境空间，提升博物馆文化叙事性内容的质量、丰富性，并以故事的生动性与创新性来创造沉浸性体验。［2］162

博物馆作为一种文化的叙事主体，通过叙事媒介、叙事空间、叙事故事、叙事身份让文化的认知与沉浸式体验相结合，以更好发展、传承、传播文化。

沉浸技术：新媒体影像技术

技术与数字化创举是博物馆的创新之道。博物馆文化的数字化时代到来，技术革新了艺术、文化的消费，博物馆巨头们正在积极整合技术，寻找博物馆曾经拥有的最佳参观人数，并拓展新的观众。2018年国际博物馆日主题为“超级连接的博物馆———新方法、新公众”。博物馆企图通过新技术，新方法开发、传承、展示、传播文化艺术，更多地与公众连接。

（一）技术与数字化创举是博物馆的创新之道

美国朱莉·德克尔（JuleeDecker）认为:技术与数字化创举是博物馆的创新之道（JuileeDecker，2017）。纽约大都会艺术博物馆首席数字信息官肯尼斯·威恩（KennethWeine）对2017年博物馆发展充满自信，大都会艺术博物馆2017年游客人数超过700万人，以往任何时候都更强，大都会在2016年底将其收藏的三万五千五百万张图片图像数字化，供公众使用，使得艺术品可以随时随地在任何计算机上、手机、Ipad下载。数字化方向引发了博物馆发展，一系列的小工具程序正在被添加到观众的收藏，一系列新媒体影像技术如移动APP、眼动追踪仪、全息投影、符号解码软件、虚拟现实、增强现实、人工智能等，为博物馆文化数字化开辟了一个新的领域，旨在丰富参观者展区及线上的参观体验（Griffiths，2018）。［3］19从早期基于内容的文字、图像到影片和音频内容一体化，到最近新一代的多点触控界面数字化多媒体，对博物馆文化遗产进行真实、系统和全面的记录，建立数字数据库，已经在全球很多展览中使用，这意味数字信息技术会从文化可用性、内容以及使用价值上呈现多元化沉浸体验。

“数字化举措”促使越来越多的博物馆展示数字扫描的虚拟娱乐产品和数字再创造的实体物品，将实体的文物以数字化的形式展示给观众，借助多媒体、新媒体、虚拟现实、人工智能等方式搭建数字博物馆。目前主要三方面的“数字举措”：一是历史文化遗产数字化；二是数字化展览，为博物馆展览场域带来了属性革命；三是AＲ、VＲ等数字技术从媒介成为展览主体。

（二）沉浸技术:新媒体影像技术

博物馆叙事媒介主要通过新媒体技术（Newmultimediastorytelling）将静态图像（Picture）、动态影像（video）、声音（audio）和文字（literature）等跨媒体叙述有机组合，通过互动性、参与性来加强博物馆文化沉浸体验感。2013年塔隆（LoicTallon）对博物馆与科技技术调查分析表明:各种新媒体影像技术应用在博物馆的展示以及艺术创作上。计算机算法、移动智能手机、投影互动技术、全息影像技术、裸眼3D光影技术、虚拟现实VＲ、增强现实技术AＲ、混合现实MＲ，各种新媒体技术无不与艺术、博物馆密切结合。根据美国博物馆联盟报告，2017年美国博物馆文化机构每年访问超过8．5亿次，超过大多数体育赛事，直接经济活动约210亿美元。这些显著的数字可能还会有所增长，因为博物馆在移动应用和丰富展品繁荣期间提升了技术实力，博物馆正转向虚拟现实、应用程序APP、人工智能等开启文化体验之旅，旨在增强技术精湛的访客体验。

VＲ技术、AＲ技术是最新的“沉浸式”媒体技术，可以产生最强烈沉浸式体验。对于博物馆而言，利用VＲ、AＲ等新媒体技术最关键是帮助博物馆给观众讲故事，用叙事故事使观众和虚拟的文物、文化遗产、遗址进行交流与互动，完全沉浸其中。虚拟现实技术具有一种天然的优势，为博物馆拉近与观众的距离提供了有效的途径。VＲ技术，是利用计算机模拟产生的三维空间，营造出虚拟现实世界的一种新媒体技术。用多源信息融合的交互式三维动态视景和实体行为的系统仿真，作用于用户的视觉、听觉、触觉、力觉、动觉等多种感觉通道感知并产生身临其境的沉浸式体验。利用虚拟技术的叙事性和情境性设计将文物知识和信息融入到故事情节中，提升故事性、戏剧性和逼真性，使得博物文物更加丰富有趣。故宫博物院着手的“端门数字虚拟体验馆”项目，构建了一个数字化虚拟平台，线上和线下的活动，让观众成为博物馆的双重互动“作品的创作者”和“观众互动者”身份。虚拟现实等新媒体技术在博物馆文化展示上的应用，主要利用了以下关键支撑技术:数据可视化技术、交互技术、虚拟场景绘制与渲染技术、网络通信技术、三维跟踪技术、云储存技术、360成像和显示技术、全息投影、裸眼3D光影等。交互技术为博物馆文化数字化的文化内容可以多感官、多维度的数字化娱乐体验。360成像和现实技术为博物馆文化叙事空间和虚拟场景沉浸体验提供无缝对接实时融合。AＲ、VＲ虚拟场景绘制和三维跟踪技术为博物馆文化内容表现出丰富和逼真的视觉呈现。

博物馆未来研究中心断言，在博物馆文化体验上将有一个结构性的转变，那就是对于30岁以下的消费者，以叙事性情景式故事为主驱动文化消费的模式。并预测“沉浸式身临其境的交互式项目和一个新兴“以您作为主角的概念”的消费需求将呈现一个上升的趋势。［4］12大都会博物馆科学技术主任VivianTrakinski亲眼目睹了游客体验的演变。她在《未来的博物馆》研究报告中阐述:“当我1999年来到这里时，我们专注于视频（科学记录短片），现在也仍然生产视频，但现在我们大部分时间用于多种数字格式进行数据可视化工作，正在专注于更加沉浸感和互动性的平台，观众希望在博物馆从事自己创作、创造，策划自己的博物馆文化体验。”

沉浸式体验：感官体验与交互体验

以情境和叙事性故事为主来驱动博物馆文化消费，意味着沉浸式身临其境的体验更深刻。虚拟技术使得沉浸感在博物馆越来越常见和轻易，很快“沉浸”这个词在博物馆词典中被过度使用。21世纪的博物馆观众喜欢沉浸式的感受，而不是被动的旁观的或者接受的，我们目睹了博物馆从指定的、授权的、物理的、封闭的、线性的、疏远的到动态的、凌乱的、想象的、自由的、沉浸式的改变（Parry，2007:72）。英国学者简·基德认为“博物馆永远都是充满沉浸感和非常有趣的”（JennyKidd，2017:15）。

（一）心流：沉浸与沉浸式体验的涵义

沉浸一词，英文Immersive。威廉·立德威尔在《设计法则》阐述沉浸是心流理论。

美国芝加哥大学著名心理学家米哈里·齐克森哈里（MihalyiCsikszentmihalyi）在研究中发现个人完全投注在某种活动情境中，会过滤掉所有不相关的知觉，十分兴奋和充实的情绪就像“水流“一样，毫不费力源源不断地出现，他将这种情绪体验称为Flowexperience（心流体验或沉浸体验）（Csikszentmihalyi，1975）。

沉浸体验（FlowExperience），也叫沉醉感，指个体将精力全部投注在某种活动当中，无视外界存在、自我忘时的状态（Csikszentmihalyi，1975）。个体体验到一种积极的感受，给人以充实感、兴奋感和幸福感，称为最佳体验（OptimalExperience）。沉浸体验是融合意识与行为的整体感受（Harrison，2001；Beard，Hoy，2010）。个体在完全被某种活动所吸引时，就会产生满意、平静、享受，内心和谐的主观感知，即沉浸体验（Parker，Bind，Strauss，2010）。

沉浸式体验（ImmersiveExperience），也叫沉醉感，是指个体将精力全部投注在某种活动当中，可以视为高度沉浸其的心理活动（Fredricks，Blumenfeld，Paris，2004）。

沉浸式体验的本体在于体验，沉浸式是一种状。体验是促使人们形成深刻感知的实践经历，体验在学术上目前由两种说法，一是派恩和吉而摩的四分法:娱乐、教育、逃避现实、审美。二是伯思德·H．施密特的五分法:感官体验、情感体验、思考体验、行动体验、关联体验。它包含三要素:实践性、认知性和情感性。从艺术学角度看，体验是艺术家通过引导观众参与、观众互动、观众创造来满足观众的情感需求，实现心中的自我价值。王一川教授在《审美体验论》中写到:“体验，就是以身’体’之，以心‘研’之，即身体力行，亲身实践。”

（二）沉浸式体验：感官体验与交互体验

沉浸式体验重在感官体验和交互体验。感官体验主要指在视觉、听觉、嗅觉、味觉、触觉五种感官的刺激，让观众完全沉浸其中的体验。在感官体验方面，为了创造一种完全沉浸的感觉，五感官（视觉、听觉、触觉、嗅觉、味觉）必须感知数字环境是物理上真实的。使用沉浸式技术让感知体验出现:全景3D显示（视觉）、环绕声声学（听觉）、触觉和力反馈（触觉）、气味复制（嗅觉）、味觉复制（味觉），体感复制（动觉）。［5］134目前在博物馆文化展示、传播上一般融合“五感官”感官体验，并加入体感。感官沉浸可以吸引观众和提高情感的概念由来已久，在文化仪式和宗教仪式上利用多感官沉浸体验已有几千年历史。19世纪末、20世纪初民粹主义博物馆常使用透视、电影放映、声音效果、声音轨迹，偶尔使用烟雾和镜子，使文化文物和历史物品栩栩如生。1980年，加利福尼亚州奥克兰博物馆举办了一个现实主义展览，其中包括电影制作人莱斯·布莱克的《像十个好母亲的大蒜》纪录片的首映式。在首映式上导演建议，当电影被展示时，在不为观众所知时，偷偷打开放在博物馆剧院后面的烤大蒜头的面包机烤箱，结果整个剧院充满了大蒜气味，创造一个超现实的经验，一边目睹著名厨师爱丽丝·沃特扒大蒜和一个香肠制造商正粉碎数十个辛辣丁香味肉，一边嗅到烤大蒜的气味，这种体验是一个非常长的记忆缓存。毫无疑问，整个展览创造情境和叙事性故事的多感官沉浸体验成功地提高了与观众的连接。［6］229

交互体验，也叫互动体验，就是人行为上的交互体验。观众感觉达到数字环境是真实的充分信念，能够以自然，直观的方式与环境交互人与人交互、人与作品人机交互，各种人机交互沉浸式技术（例如手势控制，运动跟踪和计算机视觉）响应观众的动作，移动脑控制接口（BCI）响应观众的脑波活动，从而进行一系列的交互。传统博物馆交互很少，随着技术发展，艺术、人物、文物与观众的交互性越来越强。当沉浸理论延伸搭配人机互动媒体上，就出现了沉浸媒体。所以在沉浸式体验含义上也理解为数字技术或图像、影像等给人身临其境的感觉，可以改变人的心理状态及心流；总结就是:沉浸是让人专注在当前情境下感到愉悦和满足，而忘记真实世界的心理状态。

情境虚拟体验和互动体验装置艺术，是最近新媒体艺术最热门的话题。日本的新媒体艺术TeamLab团队打造的一系列新媒体沉浸式艺术体验风靡全球，“水面上舞蹈———无穷”艺术，观众可以走入水中，通过步伐改变锦鲤的游动方向。当鱼撞上观众，他们会变身成花并且在空间中散射，人们的出现决定了锦鲤运动的轨迹，并在水的表面上呈现多彩线条，水中的画面由计算机实时渲染，观众和装置之间的互动，构成了不可重复、不可再现的艺术作品。2017年米兰设计周COS同样绽放互动异彩，提出“NewSpring”概念，其灵感来自日本盛放的樱花，6米高的顶部有30个散开的“花瓣”，每隔5秒钟“花瓣”喷出带着花香的气泡，这些气泡碰到观众的衣服纹理面料就会滑落或弹开，如果接触皮肤则会温柔地“爆炸”，让香气诗意绽放。当观众走进这些气泡，泡泡会像飞舞的蝴蝶一般旋转起来，互动性大大加强。这一“转瞬即逝”的艺术体验让人兴奋不已，阵阵花香唤起观众对灿烂春日的向往。心情的愉悦与心灵的神往，就是感官体验和互动沉浸式体验的价值。

许多研究表明，多感官浸入和互动沉浸可以增加感情参与，激发丰富的想象力，创造更深刻难忘的体验。

加州科学中心的“GooseBumps:TheScienceofFear”的展览研究表明:博物馆体验可以深深植根于游客，是最具潜力的学习记忆，体验和感受加强人的知识和认知情感。［7］约翰富沃克（JohnHFalk）在他所著《博物馆体验》一书中说:“沉浸式的情绪可以唤醒人的认知和记忆。虽然认知过程中，情绪被认为是独立的，但是这个体验过程，多感官是不可分割的。情绪、记忆与决策紧密联系，他们的体验记忆可能最终影响参观者的选择，而最终影响学习。”［8］6

在今天信息重叠的时代，身临其境沉浸式的博物馆环境提供了另一个引人专注的优势，即不受外部干扰的聚集体验，使访问者能够完全沉浸在当下的内容。沉浸式体验的价值越来越彰显在博物馆文化活动中，一切文化艺术与科学技术的联姻故事正在演绎文化体验的各种可能性。全面式的沉浸文化体验时代已经到来。

博物馆叙事性：情景化叙事空间与移情化叙事故事

美国博物馆联盟认为，在博物馆文化体验上出现一个结构性的转变，那就是对于年轻消费者，以情景式、叙事性故事为主来驱动文化消费的模式。西尔弗斯通在1980年指出:“只有当博物馆开始叙事时，观众才会将自己日常生活的经历与博物馆的参观经历相结合，然后进行构造，形成自己的体验。”简·基德对博物馆“叙事”的方式上认为:“它们所讲述的故事是关于过去、社区、民族、地点、个人、身份和我们可能的未来，更多关注我们生活中的世俗和技术层面的内容。”博物馆叙事性就是将博物馆文化通过讲故事，以故事情节、角色、情境、节奏的设计使观众沉浸其中。

（一）叙事的本质就是讲故事

叙事性是对文艺理论研究中叙事学在实践特征上的表述。叙事的本质就是讲故事，是人类本能的表达方式。叙事意味着一种通过体验和行为的偶然性来获得知识的一种方式。博物馆不仅仅是故事发展的场所，也和文物、藏品、场景、事件一起产生叙事性故事。“叙事”包含叙事者、媒介、受体三个层面，叙事者提供叙事素材，叙事媒介传播信息，受众接受信息，并转化认知情感。博物馆中的每一个故事都有其独特性，从而决定了叙事性设计与观众的交流方式，在新媒体影像技术下，博物馆叙事性带有沉浸性、交互性和移情性，博物馆在不同地区，通过不同的平台，讲述各种各样的故事。用富尔福德（ＲichardFulford）的话说，我们生活在故事的尼亚加拉河中；在这里，博物馆可以讲故事，讲故事被认为是在休闲娱乐的外壳下，具有交流价值、传播价值，是具有说服力和教育意义的行为。

（二）情境化的叙事空间

在博物馆叙事性里，将叙事的主题与空间展示融为一体，打造复原过去、模拟未来，再现历史人物、历史事件的、多媒体技术配合的场景空间，是叙事空间的功能特征。其目的是让观众身临其境环境之中，潜移默化地接受信息。瑞士日内瓦大学研究人员利用数字动画、AＲ、VＲ等技术手段，使消失了近2000年的庞贝古城以数字化的形式“重生”，通过构建可视化、情境化的三维动画、虚拟古建筑场景、关键活态事件，并利用AＲ技术将这些数字内容叠加在现实的文化遗迹环境中，使游客能在庞贝古城的遗址中体验背后的历史情境。展览“‘看见’圆明园”借助圆明园数字复原成果，选取圆明园正大光明、勤政亲贤、方壶胜境、西洋楼等26个景区，通过“园居理政”“畅襟仙境”“西风东纳”三大主题，多角度复现“万园之园”的恢弘景色。并通过实体搭建与AＲ、VＲ等多种虚拟体验相结合，使观众在展厅中便可看到“再现”的历史场景，获得沉浸式的虚拟游览。营造情境的空间位置、空间氛围、复原景观、观众在体验中回到历史，重视历史，加强观众感受和情感记忆。

叙事空间的互动是博物馆展示空间设计采用的新方式，人和物、观众和展品之间适时发生互动关系，通过让观众直接参与的方式去了解展项所要表现的展示内容、科学原理，从中获得所需要的知识和信息。交互技术结合4D动感影院的机电控制技术，以艺术时空的手法模拟仿真的自然景观，达到震撼人心的时空效果。在南京军区使馆军事演习虚拟互动空间，利用4D动感影院的机电控制技术和交互技术相结合，模拟真实的自然景观，当观众走上军舰戴上手套，发出指令，立即海面万舰整法，炮火轰鸣，头顶飞机呼啸而过，当炮弹爆炸，观众所处的战舰剧烈震动，并伴随扑鼻而来的火药味。这个体验区营造出一种身临其境的战争对抗的紧张氛围，让观众完全沉浸其中，感受战争中官兵的心理状态，从而对战争、人生有更深刻的感悟，情境化设计将想要表达的叙事内容和空间完美结合。

由此可见，博物馆叙事空间在新媒体技术下创造的新型情境体验空间，体现人与环境的互动，人与展品的交互。

（三）创造情境性、移情化的叙事性故事力量

在多感官的环境呈现中，叙事性故事本身就是一个强大沉浸式的工具，谁没有围着篝火被一个可怕的鬼故事而惊魂不已呢?那树上呜呜的风，黑暗中夜猫发出怪异叫声，长长的影子在火焰中闪烁穿梭……这些情景都有助于营造并加剧观众恐惧或兴奋的气氛。

文物是博物馆文化展览的核心，并通过这些对象，传达昔日的故事。西尔弗曼指出，“人类共享的基础往往通过故事的形式来表达我们要做事情的意义”（Siverstone，1995，176）。但是，如果我们在博物馆文化传播上仅仅提供文物或文化对象的名称、来源日期、材料材质等信息，这将失去与游客加强有意义的情感联系的机会。一个有效的身临其境沉浸式的叙事故事，不仅塑造了展览设计的面貌，也构架了一座文物所代表的时空客观事件与参观者人生阅历之间的桥梁。也许最显著的是，这种联系植入人心，使参观者继续关注或跟踪其文化现象，让文化持续性、传承性、创新性地在文化的灵魂中发酵。

博物馆中虚拟现实所创造出的情境性、移情性的叙事故事体验，突破了传统叙事中与观众的界限，使观众置身于所叙故事时空情境中。故宫博物院展出的“清明上河图3．0”借助8K超高清数字技术、4D动感影像，以动起来的街道、河流、树木、人物，一切像似一部“流动”的影片，吸引所有到访者为之驻足。以宋时气息、光影、乐曲通过360°沉浸式体验和全息技术还原那时的“驻马绿杨荫，酒楼三月春”，“清明上河图3．0”营造了众多艺术形态的多层次交互沉浸体验空间，这种沉浸交互体验，打破了观众与文物、与画卷的对立。观众似乎身临宋都，“清明上河图”中的景、人、物一切都有了生命力，这就是典型的情境式，移情性的叙事艺术。

在博物馆文化中呈现的叙事是一种高度审美的艺术，优秀的故事有许多与事件有关的美学元素，叙事也可以指自我认同，是记忆和意义的心理过程。杜克大学著名学者欧文·弗拉纳根（OwenFlanagan）写道:“所有文化中的人类都以某种叙事形式来表达自己的身份，我们是光荣的讲故事者，故事是文化的一个重要方面，许多绘画艺术作品和大多数作品都讲述故事；事实上，大多数人文学科都涉及故事。故事是古老的起源，存在于古埃及、古希腊、中国和印度的文化和他们的神话，故事也是人类传播的一个普遍存在的组成部分。”文化需要相应的叙事形式———它不是通过科学，也不是通过事实，而是通过故事，所以博物馆也需要叙事性的故事。［9］197－203

在博物馆环境中的沉浸式故事讲述就像一部好电影一样为大家“难以置信”地娓娓道来。它引诱观众进入故事中的时空，陷入另一个世界，这个世界让观众忘记纷乱困扰的现实生活。库尔特·史密斯说:“引人入胜的影像或图像让观众同喜共悲这才是深度沉浸式体验。”［10］121

在一些文化展览上，一个意味深长的故事带来的多感官体验可以激发观众的想象力，进而把他们带入悠悠岁月的古老文化与历史长河（Siverstone，1988，235）。把自己的生活经验带进叙述性故事中，通过高度的沉浸状态，激发个人耐人寻味的心灵涟漪。

朔尔希博士认为:“从长远来看，与游客进行有意义的心灵撞击与情感博弈，是博物馆影响力最好的见证。在时空情境转换沉浸体验上，博物馆该提供怎样的具有长远视野的文化消费呢?或许最难忘的沉浸体验莫过于跨越文化差异，引起观众人性共鸣的故事吧……”［11］

叙事观众身份：接受者-参与者-创造者

博物馆文化体验是由文物（或艺术）、媒体技术、概念设计、叙事性故事和观众共同构成的。麦圭根（JimMcGuigan）说:一个参与范式的空间，将会阐释公共和个人政治生活，并与其斗争，同时参与其情感维度中。如果博物馆能进入这样的空间，重新成为充满好奇和创造力的地方，那么对观众“参与范式”的研究可以构想博物馆将如何成为文化公共领域的领导者。［12］

（一）观众“被动接受—主动参与—共同创造”的演变

随着新媒体影像技术的发展，博物馆里的艺术、文物、观众、空间的存在形式都发生了变化，观众的身份与体验也发生了变化。观众身份经历一个由被动接受者到主动参与者再到共同创造者的演变。

（1）单向传统被动接受者。“观众—作品”模式，观众去往博物馆、艺术馆站在一幅画（或文物）面前静静欣赏，接受纸张标签注释理解那高高在上永恒的艺术。观众单向个体体验艺术，他者或许是破坏性的干扰性，具有负面影响。

（2）主动参与者。移动终端线上和线下体验，“观众—作品—终端—互动”模式。观众通过手机或网络获得数字艺术体验，或走进博物馆利用各种移动智能终端，与之交互、互动，产生沉浸体验，观众介于单向个体与少数群体之间的互动之间。

（3）共同创造者。沉浸交互创造性数字艺术体验，“观众—作品—互动—其他观众”模式，观众是活跃的、积极的参与者，并成为艺术作品的一部分，参与创作并和其他观众一起进行创造性表现。在沉浸交互艺术作品中观众更容易意识到其他观众的存在，形成观众之间的超级连结。由单向个体转向群体，他者在空间中的存在是积极的。

（二）叙事身份:沉浸的自我

利文斯通提醒说:考虑到所有媒体或媒体技术，博物馆体验中，我们不禁要问“什么是观众，对于观众而言，什么才是最有用的和有趣的?”在沉浸式博物馆体验中，代表性的主角人物经常交织在展览的叙事情节和上下文的内容中，现在许多博物馆不再是通过简单的图像和音频来呈现历史人物，而是使用新数字媒体技术让观众成为叙事故事中的主角。在伊利诺伊州的亚伯拉罕·林肯总统博物馆，斯普林菲尔德采用全息技术营造一个鲜活的林肯鬼魂阴魂不散地在总统图书馆飘荡，当黑光与林肯“声音”撞击时，周遭的空气弥漫着林肯的音容，让观众与精神领袖情景交融地灵魂对话，分不清此时是“我”还是“林肯”，角色已混。在《真正的海盗》电影展览中，通过队长山姆·贝拉米的生动表演，海盗船长的声音叙事性地给游客以完美的沉浸式体验。在“埃及艳后”展览中，埃及末代皇后的搜索引擎，语音导览则是埃及艳后的声音，跟随她的声音走进代表着埃及艳后生命中重要古文物的亲密之旅，仿佛她就在你身边，却沉陷于她的世界。此时你是观众，还是故事中的人物主角?沉浸式体验让“你”身陷其中。

用文字来吸引受众，故事是核心。在博物馆展览，有一种天然的机会，让观众将自己融入角色性格成为叙事的一部分。由于展览生机勃勃的动人故事切入环境，观众通过展览空间的简单互动行为让身体沉浸在故事之中。美国大屠杀纪念博物馆让游客选择一个大屠杀中真实的受害者身份，并按照展会要求走路，个人脚步声被发现而遭到杀害。海恩针对博物馆主动学习与环境研究表明:“主动参与学习，并认识到学习的过程不是简单地将学习内容添加到某种心理数据库，而是一种模式的转换，其中学习者扮演积极的角色，出现心灵交融的一系列现象”（海恩，Hein，1995）。更明确、积极的角色，更让游客沉醉在展览叙事中，研究表明，角色扮演特征越明晰、活跃度越高，参观者在展览叙事性故事中就陷得越深，沉浸感就越好。

（三）观众体验与新媒体影像技术存在相关性

参观者带着个人的兴趣与期盼走进博物馆、艺术馆，通过使用新媒体技术，观众可以根据自己的爱好，来调整自己在展览中的角色性格与文化学习状态。福尔克教授建议，“博物馆不应该把观众限定在如年龄、种族、族裔、学历结构、专业领域等一系列框架里，相反，我们需要欣赏并认同每一位游客都是一个独特的个体，每一个都具有与众不同、宽泛的游客体验。”（福尔克，2009）

通过创造和创作具有情景化媒体性的沉浸式叙事故事展览，表明观众角色是连续性的，从被动、主动到互动。在典型的被动角色中，访问者作为观众或观察者在整个展览中漫步。在中度活跃性的角色，参观者作为一个旅行者、探险家或发现者，沿着时间的迁移参与到叙事性故事情节中。在高度活跃的角色中或网络的交互角色中，访问者可以分享他自己的经历，或以历史学家、考古学家、艺术策展人的角色来分解信息，身陷其中后进行深度思考，并持续性地关注与学习，从而以自己的阅历来扮演、导演其中的角色。

从案例研究的其他定性结构分析表明，文化展览中使用的媒体影像技术与访客的作用之间存在相关性，其中使用新媒体影像技术的展览倾向于吸引更多的参与者。例如，用多触摸技术或平台可以鼓励观众对单层和多层信息的自我导向；互联网的多媒体设备使游客能够能及时搜索收集，以增加学习机会；用更先进的技术集成访客的认知和情绪反应，再对语境化、情景化作出相应的互动。新媒体影像技术促使观众积极参与到沉浸式设计概念中，获得深度、互动、完美的沉浸体验。

新媒体影像技术下博物馆文化沉浸式交互体验的类型

许多博物馆展览在同一区域或装置中结合沉浸式方法来达到效果，正如本文前面探讨的，沉浸式身临其境的体验是由媒体技术、概念设计、叙事性故事和访问者共同作用产生的。［13］博物馆文化的观众体验目标从观众分类、需要、动机、行文、结果等五个层次考虑，源于触发机制，通过内部触发与外部触发，让文物的感官特征具有直觉性暗示功能，增强用户在虚拟环境中的存在感，跳出传统的交互模式，构建新媒体影像时代的沉浸式体验设计范式，确立与修缮体验设计模型。对于本论文研究的目的，其沉浸式体验类型主要有以下五个方面:经验沉浸式、叙事沉浸式、剧场沉浸式、互动沉浸、虚拟沉浸式。

（一）经验沉浸式

没有叙述性故事的沉浸体验纯粹是感官的，是一种纯经验式体验。创造情境式的博物馆叙事空间是经验沉浸式体验的有效方法之一，博物馆空间叙事性通过空间结构、陈列内容诠释主题，在刺激情感联系上非常有效。事实上，这种类型的沉浸具有高度挑衅，比如参观洛杉矶恶魔监狱博物馆，讲解员是一位监狱犯，他指使每个观众独自步入单身牢房，并狠狠关上门，仅一分钟禁闭的气息萦绕在阴暗潮湿的空间中，给人一种难忘的经历体验，这种体验不需要叙述，只是营造了气氛。在密苏里州堪萨斯的阿特金艺术博物馆，自然的阳光透过高高的窗户照射到艺术家克利姆特的装饰艺术作品上，营造了一种冥想音乐视觉形式，射映了爱情与大自然交融时刻，观众凭着自己经历与思维去解读它。阳光、人、自然、爱情、大地、山脉等都是灵感持久记忆元素。当然，在今天新媒体影像技术时代，纯经验式虚拟异地空间的时空模拟体验更加丰富。

（二）叙事沉浸式

在博物馆文化与美术馆等主题展览馆中，采用叙事性手法驱动身临其境的沉浸体验变得越来越流行。把观众体验设计到故事中，将观众设计为故事中的一个角色，演绎丰富上下文串联的故事，通过多感官的多媒体技术营造体验环境；根据叙事性和符号学表述博物馆的“文化故事”，策划情节设计、行动动机、审美特性和角色人物性格，把握叙事性故事技巧层次。

当完全的叙事性浸入发生时，观众被完全吸引到故事中，往往时间似乎变慢，注意力突然瞬间休克，时间停止，观众沉迷其中。当观众的思绪从沉浸世界中剥离出来，才发现这个真实的世界一切都还是存在的。在圣保罗明尼苏达州历史中心展出的“这一定是个地狱”画展是叙事性沉浸体验设计的一个很好的例子，画展邀请观众进入一个真实的“二战”时期道格拉斯C－47的机身，然后想象自己坐在这些长椅伞兵上，A16声道音响系统、视频投影、外加窗外的飞机视觉效果，让参观者沉浸在“二战”侵略的战争实况，参观者听到来自“二战”老兵关于诺曼底跳伞真实故事，沉浸在一个退伍军人的生活、死亡的真正物理环境，这是与观众交流强有力的感情纽带。

博物馆长期以来一直以叙事为途径与公众进行沟通，正如弗格森强调的那样，“将艺术品作为在制度化故事中被提升为观众的元素叙述”，蒂娜·拉波拉也进一步强调“故事或叙述”是引导内容的首选工具。越来越多的世界巡回展览或美术馆、博物馆采用叙事性方式，利用新媒体影像技术来连接有故事情节、艺术性的设计环境，为游客设计动感性的体验性故事。“图坦卡蒙和法老的黄金时代”巡回展2005年在洛杉矶开展，巡演遍及美国纽约市的时代广场，伦敦、澳大利亚等博物馆场。一个介绍性的高清晰度视频，埃及演员奥马尔·谢里夫深情解说，戏剧表演与高品质环绕声的多屏幕，为游客打开图坦卡蒙的世界。其中最让人记忆犹新的亮点是，一个签名神器把游客拉入第十八王朝古埃及的旅程，经历少年国王的崛起之路，见证1922年发现的坟墓，了解古埃及的祖先，并探索木乃伊的现代科学分析及困境。高清晰度视频、Photomurals、档案图像、三维电脑动画和音乐活化、情境化古老文化文物，让参观者通过展览体验观察员、探险家、发现者、考古学家和科学家的多角色。

2008年11月在佐治亚州的亚特兰大古埃及展，采用了高清视频、多屏技术、签名文物的动画视频标签，模拟CT扫描木乃伊，对图坦卡蒙的智齿牙、头颅底部防腐树脂、膝盖有感染迹象收录了真实数据，这些全方位的综合媒体为展览沉浸提供了原动力。当观众走进仿真的古埃及大门的一瞬间，就沉浸到一个代表3000年古埃及文物的文化故事，新媒体影像技术在整个展会上提供了一个多层次的体验。

（三）剧场沉浸式

20世纪末期，博物馆营造剧场沉浸式体验通过环绕屏幕技术，将高定义视频和数字音频相结合，创造强大的身临其境体验。通常是在一个展览的开始掀起游客情绪，提高游客对文物和上下文的连接对象，并扩大观众移情理解展览，利用3D剧场技术浮出水面，并为新的4D身临其境的体验铺平了道路，从而提高有形元素如运动座椅、风、雾、气泡的身临其境体验。华盛顿特区的新闻博物馆安装了一个最早涉及新闻学的永久4D影院，这在历史上是亮点，爱丁堡游客中心，苏格兰开设了永久的4D影院的节目“我们的地球动力学”，一个立体、照明、音响、风、雪和香气的盛会。

MAX和IMAX3D影院和程序以及全天域等环绕屏幕技术也在不断扩大。数字新媒体影像技术的进步大大提高了大屏幕分辨率，降低了成本，为许多新的设计开辟了道路。一个特殊的圆顶剧院讲述了一个印第安人的故事。2004年史密森美国印第安人博物馆（Nmai）“Fulldome“设计了全球浸入式剧场，随后在2009年11月进行了升级。一个120个座位的圆形剧场，游客沉浸在一个13分钟的演讲题为“我们是谁”的当代印第安人的生活方式之中。头顶的穹顶模拟天空位于剧院的中心，放在数字营上空的录像带给观众印第安人的生活故事，访问者的注意力同时指向三个层次:视觉定位，眼睛屏幕上的屏幕，以及头上面的圆顶屏幕。Fraunhofer研究所还开发了一个圆顶屏幕但不像Nmai圆顶的被动体验，这其中包括一个交互式组件使游客参与内容创作，这种互动的沉浸式设计被各大博物馆使用并对之进行探索。

21世纪剧场体验的最黑科技当属360全景影院剧场了，美国首座天文馆芝加哥阿德勒天文博物馆在天象厅，利用世界上最先进的球幕影院，360度球幕沉浸式体验，运营计算机三维技术，将虚拟的银河画面投射到圆形的天穹屋顶上，座位的扶手配有先进的感官系统，娓娓道来的关于银河故事，让观众仿佛置身银河之中，观众可以指出最亮星星的位置，观赏他们所形成的星座，打造了一场令观众惊叹的视觉效果体验星系的魔幻星空，探索宇宙的奥妙，让人沉浸于银河世界。全球最大的管理咨询公司Accenture成立了ImmersivStorytellingStudio沉浸式叙事工作室，设计旨在调研利用VＲ、AＲ和360度全景影院剧场提升剧场戏剧故事方面的表演能力。

（四）互动沉浸式

互动性和参与式身临其境沉浸式的设计潜力是巨大的。移动智能终端、网络和无线技术，Twitter和即时通讯，微信、Facebook社交网络和无线传感等，都是访问者进入博物馆环境的新技术之一。这些技术正在使观众角色从被动观者转变为主动积极参与者，让博物馆文化获得新生。博物馆开始看到互动性与参与性的价值，特别是针对更年轻、更有个性的观众，延伸到场外学习体验。美国洛杉矶格莱美音乐博物馆，触摸屏设计可以集体去触摸、探索性地体验。这是一个藏有近一个世纪的音乐家和流派的音乐，数据如此庞大，观众可以选择文本信息和音乐样本，可单独或成对听，以集体方式听电台、音乐系统在博物馆随处可见，观众则可以自己试着去说唱，合音，录歌，打碟，在单个小房间观众可以模拟音乐，进行自己创作，4－6个人一起与各种流派互动创作，数字化的音乐让游客通过耳机听到的结果，一起和其他游客来玩音乐。馆长罗伯特·斯坦利（ＲobertSantelli）说:“我们展出多达160种风格音乐；50年来格莱美奖的经典照片和影像；格莱美奖颁奖典礼上明星的礼服和道具，并不是为了展现历史，而是让观众必须亲身体验，自己去玩音乐，去享受音乐，才会享受到音乐带来的快乐，这才是我们的目的。”［14］5－6

印象最深的便是四楼展厅名为“十字路口（Crossroads）”的音乐风格体验台。这个体验台长大约7米、宽大约1米，顶上嵌入着一块高清触控板，在触控板的下方，每隔1米延伸出一副耳机。戴上耳机，参观者便可以在触控板上任意操作，开始一段音乐风格的体验。触控板上，设计者将不同的音乐风格标在一个圆圈里，圆圈随着水流般的背景动画自右而左地漂到体验者面前，耳机中也对应响起此风格的音乐。如果体验者对某种音乐风格特别感兴趣，则可以点击圆圈，此时，圆圈又扩散出许多小圆圈，对应着是此音乐风格的简介以及代表的艺人、作品，以及更为细分的风格。以摇滚乐为例，点击后则会细分出车库摇滚、英伦摇滚等等以及各自的简介，英伦摇滚可能会显示出酷玩乐队Coldplay，点击酷玩乐队则会显示出与之风格相类似的艺人，如基因乐队Keane、北极猴乐队ArcticMonkeys等等，正如其名字“十字路口”般，在音乐风格和艺人的交汇想通中，游览者便体验了各种风格的音乐，也加深了对整个音乐体系的了解。开心的音乐体验让观众忍俊不住在Facebook，Twitter上与家、朋友分享。

外界环境对博物馆观众体验期望值上的影响，斯托格纳（Stogner）进行了总结:我想要娱乐、现在就要、我想在任何地方娱乐、我想以我自己方式娱乐（个性化、定制化）我想和别人分享、我想创造一些东西（Stogner，2009）。我们探讨和评估“重大的技术和文化变革深刻地重塑了我们对博物馆文化的感知（Iapenta，2011:1），以及博物馆想法的“可塑性”、“灵活性”、“互动性”（Woodward，2012:15）。［15］8－9观众在博物馆文化体验上互动性的，沉浸性期望值越来越高。

（五）虚拟VＲ/AＲ沉浸式体验

虚拟现实是当下博物馆文化叙事性中，最能给观众带来最强烈沉浸式体验的技术。也是博物馆叙事性设计将“历史、文化和艺术立体再造”的一种独特艺术创作。虚拟现实技术本身具有虚实结合、实时交互和三维沉浸感的特点，在叙事空间、叙事手法和叙事者身份等给观众带来特殊的“虚拟叙事沉浸体验”，体验者强烈的在场感和参与感，让文化遗产焕发出新的生命。虚拟现实的权威专家斯坦福米里杰·拜伦森研究人类大脑在数字世界中的行为方式，数字体验永恒的哲学问题关于”自我“和”真实“，表明虚拟现实当前和未来的形式—沉浸式视频游戏、社交网络沉浸式体验将无缝对接我们的生活。通过VＲ、AＲ身临其境地在异境中行走、观察，从而对各国文化进行深入的体验，这是文化体验、教育一场极大的变革。［16］9

2017年春天，大都会艺术博物馆发起了一个虚拟现实VＲ展览:“小奇迹:虚拟现实体验”。由加拿大电影中心的媒体实验（CFC媒体实验室）和塞内卡大学创意与动画学院制作，AGO音乐学院Lisaellis和互动艺术家与设计师Priamgivord专门为HTCVive平台合作开发了艺术与技术作品。通过微型CT扫描和虚拟现实VＲ，让你沉浸在16世纪的哥特式祷告珠串的复杂雕刻艺术里，并通过量子捕捉技术，“小奇迹”在音乐中周围移动、内部旋转。这次展览首次汇集了来自欧洲和北美的博物馆和私人收藏的60多件罕见的黄杨木雕刻，这些作品小巧如手掌大小，但雕刻了高雅精致的复杂场面。“小奇迹”提供了对令人振奋的黄杨木雕刻艺术作品的生产方式和文化意义的新见解，观众看到错综复杂的雕刻圣徒和罪人紧密设计，与北欧1500－1540年精神歌曲音乐珍品，波士顿卡梅拉塔（BostonCamerata）优雅合唱曲相呼应。戴上HTCVive头盔放大了所有的细节，观众可以停驻、打量，或直直穿过珠子随意移动视线，并与之交互，从各个角度看、触摸十六世纪祷告珠的工艺，雕刻故事，这种更具触觉，沉浸式和互动的艺术体验，是传统展示展现所无法呈现的整体效果。结果:VＲ丰富了沉思和沉浸式的体验。埃利斯同样引证了内部研究，该研究发现，在大都会博物馆里探索祈祷珠时90%的观众使用VＲ头盔，并认为它“非常成功”（包括一群来访的修女，据说他们“从中得到了很大的乐趣”）。［17］5

AＲ增强现实技术用于博物馆文化遗产数字化保护与传播，可以实现文化遗产的高精度行、交互性，受众广泛性。AＲ增强现实虚拟体验，主要是指给现实叠加一层虚拟纬度，通过数字采集，复原再现，对博物馆文化遗产数字化展示，激发体验者强烈的参与感、在场感、沉浸感。NSW大学考古学教授SarahKendine和香港城市大学创意传媒学院合作的敦煌莫高窟—纯洁之地项目，增强现实技术呈现了一场细腻入微、精妙绝伦的互动展览。把观众带回古老的辉煌的神圣之代莫高窟，让人们仿佛穿越回到唐朝盛世的佛教天堂。唐代丝绸之路首府的宝藏展览中，增强虚拟现实技术让本不对外开放的Unesco莫高窟壁画，观众可以进入一个房间，在这个场景中，无限地清晰地、真实地接触、触摸、感知、体悟莫高窟。这重深度的沉浸式体验，让人们对文化遗产的认识、理解、回味向纵深发展。旧金山博物馆兵马俑展，其开发的APP通过使用AＲ来帮助博物馆对兵马俑的相关知识进行传播，达到教育的目的，把传统以静态陈列物件，影片传播，面板图像等转化为观众可以手动操作，参与并身临其境地在数字多媒体中漫游，人机互动。［16］9

新媒体影像技术拓展了博物馆的叙事空间，属性和维度，沉浸式体验模型走向复合和超越性，观众不再是感知墙上艺术，而是厘清心理感受，参与并释放自我表达格式的互动沉浸式体验，实现观众和展品的情感交融，激发叙事空间沉浸式体验。

结语

博物馆是人类记忆和传承文明的重要载体，文化从来且永远是社会的文化，大众的文化。［13］新媒体影像技术让博物馆文化永恒，讲述和分享博物馆文化故事，创造情境、叙事性故事力量，给观众身临其境的沉浸式体验。21世纪是信息、科技、文化交融的时代，博物馆文化遗产带来了新发展方向，让文化沉浸体验更丰富，更深度，更互动。

参考文献（略）

原标题：沉浸与叙事: 新媒体影像技术下的博物馆文化沉浸式体验设计研究

作者：王红 刘素仁

文章来源：艺术百家 2018 年 第 4 期 总第 163 期

图文版权归原作者或机构所有。原文完整内容，请查阅《艺术百家》 2018 年第4期 总第163期《沉浸与叙事: 新媒体影像技术下的博物馆文化沉浸式体验设计研究》