《现代电影技术》｜基于具身理论的VR电影交互设计研究

本文刊发于《现代电影技术》2022年第11期

专家点评

虚拟现实（VR）是一种可以创建和体验的计算机仿真虚拟世界，它利用计算机生成一种与物理世界在视觉、听觉、触觉等方面高度近似的数字化环境。用户可通过自然的人机交互，与数字化环境中的对象进行交互，并相互影响，从而使用户产生身临其境的逼真体验。虚拟现实电影则充分利用了VR的和谐、自然人机交互优势，使观众能够沉浸在电影的虚拟世界中，并以360度全景视角体验数字化的电影环境。《基于具身理论的VR 电影交互设计研究》一文，以简单明了的方式，分析了现有VR电影的影像特征及其交互方式。论文以具身认知理论为基础，以具身化、透明化的交互需求为牵引，通过引入具身交互“代理”，以提升交互体验感，进而从三方面为VR电影设计交互：引入具身“代理”、叫醒“沉睡”的观者、交互设计原则。有人说，未来的电影一定会给予观众全方位的沉浸式体验，观众既能与电影中的人物互动，又能参与电影剧情发展。对VR电影的从业者，本文可对工程实践人员提供宏观的交互设计范式指导，提升观众的构想性、具身感和叙事沉浸感。

——金小刚

教授

浙江大学-腾讯游戏智能图形创新技术联合实验室主任、浙江省虚拟现实产业联盟理事长

摘要

文章通过拍摄制作VR电影分析研究了其影像特征及其交互现状，结合具身认知理论，依照具身化、透明化的交互需求，引入具身交互“代理”，设计自然的交互引导，提出VR电影交互设计的原则，期以帮助拍摄制作的VR电影走出交互设计困境，提升其交互流畅性、具身感和叙事沉浸感。

虚拟现实电影 具身 交互

1VR电影的特征

虚拟现实技术具有沉浸性、交互性和构想性的特征，与电影艺术的融合颠覆了人们对叙事媒体的传统认知。沉浸视觉与身体交互的结合将观影行为从“离身”的旁观转变为“具身”的体验。观者在VR感知技术的帮助下，通过全景视觉、身体交互、触觉，甚至嗅觉、味觉等多通道的感知信号感知虚拟现实电影世界。知觉现象学的创始人梅洛·庞蒂突出强调了身体知觉的主动性，强调人通过身体完成知觉与环境的互动［1］——观者身体的能动性成为VR创作者关注的重点。

制作VR电影存在不同的技术手段，例如游戏引擎实时驱动的VR电影和拍摄制作的VR电影。观者能够自由流畅地与由游戏引擎驱动的VR电影的环境或人物实时互动。例如VR影片《七彩鸦传奇》中，观者可通过挥舞控制器动作推进剧情，VR动画电影《墙中的狼》中，观者能够拾取手电筒、拍立得相机等道具与主角互动，甚至会因为任务失败遭到主角嗔怪（图1）。

图1 观者为主角拍照（《墙中的狼》截图）

然而，通过拍摄制作的VR电影却无法很好地发挥虚拟现实技术的交互优势，实现沉浸体验，原因在于它本身的特征。本研究聚焦拍摄制作的VR电影的特征，结合具身认知理论在心理学、认知神经学、人机交互等领域的成果，探索VR电影的交互设计新方法，提升观者的具身感、沉浸感，拓宽智能时代具身交互叙事的可能性［2］。

摄影机拍摄制作的VR电影是通过后期拼接合成的以摄影机位置为中心的球状视频。播放时，观者转动位于球心的头部可观看拍摄的场景内不同角度的画面内容。它通常以故事片、纪录片等形式出现，与游戏引擎实时驱动的VR电影虽同为虚拟现实电影，却也大有不同， 具有以下特征。

1.1 影像完成性

巴赞将电影界定为一种以“完成时”为主要时态的“死”去的影像［3］。通过拍摄制作的VR电影继承了传统电影“拍摄完成便无法在播放中实时更改”的特征，所有影像几乎使用实际或虚拟的摄影机拍摄，一经输出，其画面内容便再也无法发生实时变化。由于仅从一个中心视点出发拍摄， VR电影场景内的透视也无法根据观者头部的平移而发生改变。例如惊艳世人的特效巨制《Help》，威尼斯电影节备受瞩目的《家在兰若寺》等早期的VR电影作品均是由摄影机拍摄而成的故事，虽然观者拥有全景视野和部分交互能力，但创作者仍然依照传统的离身叙事思维将观者置于叙事空间，使其成为无所可依的“幽灵”［5］，观者难以将自我的存在与目光所及的场景联系起来，导致具身感的缺失。

1.2 多维感官性

人类对于虚拟现实媒介的探索不仅限于模拟真实环境的三维视听世界，英国Tesla Suit的科技公司发布了通过电流刺激、震动反馈、温度适配等技术反馈VR环境触觉的具身反馈体验系统（图2）。研究表明，穿戴式设备在虚拟现实中提供的触觉反馈（特别是力反馈）可以提升用户的具身感［5］。人们期待通过多维感官反馈技术的研究为VR电影的观者提供完备的具身交互技术，以满足观者对VR电影叙事体验的更高期待。然而，VR赋予观者的多维度感官能力也带来了成倍增长的信息负荷，观者不仅需要主动选择观看的内容，还要完成交互任务，并获得多维度感官的反馈，承受着认知负荷超载的风险，任何分心的情况都可能导致观者遗漏影片内容，影响观影体验。

图2 Teslasuit公司推出的可穿戴人机交互系统（图片源自网络）

1.3 时空连续性

频繁剪辑在VR电影中容易导致观者眩晕，传统电影的“蒙太奇”手法在VR电影中失去效用，因此VR电影多以长镜头叙事，观者在虚拟环境中体验的时间几乎与现实时间一致，呈现出时空连续的特性。时空连续意味着影像空间与现实空间的相似，观者不再旁观，而是以自我沉浸其中，观者更需要在虚拟空间中获得具身体验，来匹配VR影像的时空叙事特征。真人VR电影《The Limit》将观者设定为寻找记忆的变异人，和女主角一同完成飙车、跳伞等冒险，以真实事件的连续时间进行叙事，巧妙利用主角的昏迷、苏醒作为转场节点，符合时空连续性，观者在片中获得的全新自我符合观者在时空连续的虚拟世界中的心理需求，更增强了虚拟环境中的具身沉浸感。

2VR电影的交互现状

摄制类VR电影的特征导致其交互设计存在诸多枷锁，难以为观者打造良好的交互和叙事体验，呈现出以下几种类型。

2.1 幽灵式交互

大部分的VR电影都不曾给予观者可视的虚拟化身和与观者相关的叙事，这让观者成为VR中无所可依的“幽灵”［4］。VR影片《家在兰若寺》的观者视点从摄影机镜头出发，旁观主角与白衣女子和一条鱼精在废墟房间内的爱情故事。观者因进入了一个“与我无关”的虚拟空间而无所适从，可以看向周围的任意角度，却始终找不到自己，在经历了“我是谁？”“我在哪里？”“我能做什么？”的期待和疑问之后，得到了“我仍是一个多余的旁观者”的失望结论。幽灵式交互不失为一种交互表达方式，但不是VR电影能给予观者的最好的体验，观者或许可以在“幽灵”的身体中思考自我存在的方式和意义，却不能保证大部分人都能毫无障碍地融入故事。观者被环境包裹，但又无法为自己找到存在的身份，这是多数VR电影缺乏观者化身和交互所带来的问题。

2.2 选项式交互

交互电影将叙事的主动权让渡给观者，影片的剧情线将根据观者的选择发生变化，最终可能产生多个不同的故事线。然而我们需要思考在VR电影中嵌入选项的形式是否符合它的特性。VR短片《Noir》中，观者从第一人称视角与人对谈时，画面中出现创作者预备的两种不同回答，预示着不同剧情分支（图3）。影片的故事被设置在现代社会，凭空出现的空间文字不符合观者的生活经验，破坏了视觉统一性和沉浸感，更限制了观者在VR世界中的自由度。因此，选项式交互需要依照叙事设定谨慎设计，当剧情背景设定在AR技术发达的未来，选项式交互可能更顺理成章。

图3 选项式交互（《Noir》截图）

2.3 拟物式交互

拟物式交互鲜少在拍摄制作的VR电影中运用，原因在于摄制类VR电影是不可实时变化的影像，而拟物式交互必定会引起环境或物体的变化，因此甚少有创作者在VR作品中设计拟物式交互。VR作品《Noir》设计了望远镜观察的拟物交互，在观者找到望远镜后，观者的视野由全景转变为望远镜的圆形景框，只需转动头部即可尝试在远处楼房中寻找目标人物。此处交互设计模拟了人们使用望远镜时的头部活动，用部分身体参与叙事，较好地将观者代入主角的调查视角，探查的过程富有趣味性。美中不足的是，源于设备的限制，全片缺少观者手部交互，仅靠头显中的锚点作为控制媒介，虽然简便，却无形中削弱了观者在VR环境中的具身感。

研究表明，在虚拟现实环境中给予观者自我化身有助于创造更自然的互动，并对虚拟现实中的记忆和认知过程有积极的影响，高保真的个性化虚拟手更可以增强虚拟化身的身体所有权和空间感［5］。因此，为观者提供虚拟化身在VR交互中十分重要。

3 具身理论与VR电影的交互设计

3.1 虚拟化身与具身感

著名的“橡胶手”实验证明［6］，同步的视觉触觉反馈让人们产生“橡胶手是自己身体一部分”的错觉。在虚拟现实应用中，用户操纵虚拟化身的过程中，会产生“虚拟化身是自己的身体”的“具身感”。

具身感，即用户在虚拟现实环境中感受到虚拟化身是他们真实身体的程度，由自我位置感（与身体处于同一物理位置的感觉）、代理感（控制身体的感觉）和身体所有权感（化身是自己真实身体的部分）三个维度组成［5］（图4）。

图4 具身感的三个维度

首先，虚拟化身告知用户目前在虚拟环境中的位置，帮助用户获取空间感知。更进一步，用户可以使用控制器移动化身并按照预期执行交互任务，产生虚拟化身的代理感。当用户控制化身与环境交互获得时空一致和视觉触觉一致的反馈时，用户对虚拟化身的身体所有权感将相应增强。提升VR电影观者的具身感不仅有利于观者完成交互任务，更有利于观者具身体验片中人物的情感。

具身认知理论认为身体是连接世界与认知的媒介。当世界转变为虚拟现实世界后，身体将驱动虚拟世界中的虚拟化身完成人与虚拟世界的具身互动，观者将以虚拟化身的形象重新看待自己，完成自我在虚拟世界的映射（图5）。传统媒体常用离身的思路叙事，当虚拟现实时代来临，完整性电影和完整性具身叙事体验也将回归［2］。观者不再需要通过移情来感受主人公复杂的情感，而是以自己的身体作为叙事体验的中介，完成他人故事的叙述和情感的体验。

图5 观者通过VR设备获得虚拟化身

据研究表明，用户在虚拟化身中获得的身体所有权的错觉将影响他们的感知、态度和行为。当用户被赋予更高的化身时，他们将表现得比那些被赋予更矮化身的用户更自信，拥有爱因斯坦化身的用户甚至在认知任务中表现更好。此外，有研究表明深色皮肤的化身可以减少隐性种族偏见；在虚拟化身中体验了家暴受害女性的经历后，家庭暴力犯罪者的情感认知技能出现提高［5］。这都意味着虚拟化身能影响用户的情感认知。

3.2 VR电影的交互需求

根据上述分析，只有当观者自如地与虚拟世界互动，相信自己存在于虚拟世界，才有可能进一步沉浸在虚拟电影世界的情感之中。因此提出拍摄制作VR电影的交互需求：

（1）交互具身化

人机交互中用视觉代表指代用户，光标是二维桌面交互中的用户代表，时刻反馈用户在交互界面内的位置和状态。在引擎驱动的VR电影中，观者会获得一双虚拟手作为用户代表，这不仅可以实时展示观者当前位置和状态，更意味着观者获得了某种叙事功能或身份，有利于增强观者的在场感和沉浸感。因此创作者需要具身地为观者设计叙事过程中的交互，从而增强沉浸感。

（2）交互透明化

虚拟现实技术将身体作为信息传递的媒介，形成人与虚拟世界之间信息的自然流动，而基于化身的透明化交互设计是这一切的基础。如果观者可以在虚拟环境依靠已有认知和经验完成交互任务，就不会过分关注控制器和交互过程，而将注意力集中在交互结果及其隐喻上，拉近观者与叙事之间的距离，进而帮助观者沉浸于虚拟世界。这就启发VR电影的创作者考虑从日常认知出发来设计符合灵活高效原则的透明化交互，减少观者在观影时的学习成本。

4 VR电影中的交互设计

由于当前VR电影的幽灵式交互和选项式交互在交互体验感上欠佳，本研究将从交互具身化和透明化出发，以当前VR交互设备和拍摄制作的VR电影为研究对象，突破当下VR交互电影的瓶颈，拓宽创作思路，从以下几方面为VR电影设计交互。

4.1 引入具身“代理”

具身感的基础来源于受观者控制的虚拟化身。研究表明，在VR中拥有身体有助于创造更自然的互动，改变人们的空间认知［5］。因此，为观者提供合适的虚拟化身和身份将极大地提升观者在VR电影中的存在感和互动感，进而提升观者的沉浸体验。VR作品《轮回》为观者设定了不同时代的不同虚拟化身，观者成为原始社会的打猎人、战争年代的普通人、航天时代的航天员等，化身分别与场景展现的时代相匹配，观者不仅身临其境，更“设身处地”体验时代变迁。《深海物语》则为观者准备了身份建制环节，在对话、环境和可视化身的提示下，观者会意识到自己即将扮演的是海洋生物研究员，能更快沉浸到故事中。

因此，为弥补拍摄制作的VR电影画面不易实时变化的缺点，引入虚拟化身和实时可交互的三维虚拟物体将大大提升电影交互的沉浸感和趣味性。观者通过化身与虚拟世界和虚拟物体完成叙事性交互体验，以身体完成的叙事将比任何间接叙述的媒介都更加真切。这是一种“完整的叙事体验过程”［2］，观者将不再只依赖移情角色来获得情感体验，而是成为角色，以角色的视角和行为真实地存在一段时间，体验角色的故事，或许观者将更加理解当事人的处境及其做出种种选择的理由，完整地传达了创作者的思想。不仅如此，据研究表明，与真实感较强的物体交互会让交互任务更加顺利，因为交互过程与真实世界类似［5］，所以观者无需费心学习交互方法，仅凭借寻常认知经验，便可以轻松地按照创作者的设想完成交互，达到沉浸体验的目的。

4.2 叫醒“沉睡”的观者

传统电影的观众习惯于离身旁观，始终和影片内的世界保持距离，即使观众期待进入奇幻的电影世界，也因为技术和媒介限制而打消念头。而VR电影融合了身体交互的媒介技术，满足观者与虚拟世界互动的愿望，但创作者仍需设计合理的互动引导机制，避免观者在观影过程中因无法理解创作者的意图而停滞在交互环节，无法进入下一段叙事。

对话引导。在观者被赋予角色身份时，片中人物通常能“意识”到观者的存在。为避免文字提示交互的突兀感，可由片中人物或旁白与观者对话，或者通过眼神或肢体动作引导观者进行交互。在VR交互动画《深海物语》中，观者扮演即将潜入深海的研究员，她与船上的伙伴保持联络，观者能够从两人的对话中自然地获取交互相关的信息，从而学习到推动潜水服前进和开启手电筒的方法（图6）。

图6 虚拟化身为潜水服（《深海物语》截图）

虚拟化身引导。虚拟化身的视觉外观能够暗示交互的存在并启发观者完成交互［5］。获得第一人称视角的观者能够在虚拟化身外观的引导下了解角色的基本身份信息和交互能力。《七彩鸦传奇》由旁白介绍观者为“季节之灵”，能够控制森林季节的变化，随后观者手部出现树枝状的虚拟化身，轻轻挥动即可施加魔法，让枝叶生长花朵盛开；当主角在宇宙中冒险时，虚拟化身变化为半透明的蓝色，暗示交互能力的变化（图7）。第一人称视角使观者更易沉浸，但在VR影片中，为了方便观者感知场景空间，创作者也会适当设计不存在虚拟化身的第三人称视角镜头，以更全知的角度叙事，同时也暗示此处不存在交互。

图7 观者的虚拟化身变化（《七彩鸦传奇》截图）

视听引导。引入三维可交互物体后，运用亮光、空间音频等方式可以引导观者注意它们并与之交互。在游戏和平面交互设计中常常运用此类引导，目标物体被添加高亮特效或红色箭头等醒目的视觉元素，无需考虑与应用环境之间的差异性，追求引导的准确度。而考虑到VR电影的叙事整体性，通过视听引导交互的手法需要恰如其分，创作者应追求交互引导的真实感，削弱交互的玩乐性质，尽力契合叙事情境，例如，VR可交互手机能够通过常用的手机铃声和屏幕亮度变化来提示观者进行互动。

演示学习引导。在观影过程中，其他角色是观者的学习模板，观者可以观察并模仿其他角色的动作，再结合虚拟化身的状态完成交互。此种引导方式需要与叙事相结合，将“教学环节”巧妙融入VR影片的情节中。例如VR交互动画《墙中的狼》中的高潮部分，观者拥有持剑的虚拟化身，在看到片中其他人物挥剑砍向恶狼之后，观者能迅速学会交互方式，所以当恶狼扑向观者时，观者能够顺理成章地模仿他人的动作，与他们一起挥剑（其实是挥动手柄）保卫家园。

4.3 交互设计原则

在平面交互设计领域，设计者通常遵循尼尔森十大原则；在VR电影交互领域，创作者同样需要符合媒介特质的设计原则。本研究提出几项通过拍摄制作的VR电影的交互设计原则，旨在设计具身化、透明化和人性化的交互操作方式及其反馈。

（1）生活镜像原则

虚拟现实是现实生活的虚拟镜像。虚拟化身的出现让模仿现实生活行为的交互设计成为可能，有效降低了观者的交互学习成本。生活镜像原则具体表现为，设计的交互动作符合常人认知和生活经验，尽可能与生活中的动作逻辑、流程相同，比如开关门、开关灯、使用智能设备、拿取物体等手部动作，观者可利用手部控制器模拟推门或拉门的手部动线，拿起望远镜能够看到放大的远景等。《家中的刽子手》按照生活中的行为，设计了留声机、钢琴、抽屉、门窗的交互，观者不需要提前学习也能够快速上手参与交互，获得极好的交互体验。

与此同时，交互行为的反馈不可或缺，及时且真实的多模态反馈能够帮助观者重新校准周边环境，增强虚拟化身的代理感，提升交互的完成度，进一步获得更好的具身体验。

多模态反馈包括视觉、听觉和触觉等。视觉反馈来自三维虚拟物体的实时变化和VR影像的变化，场景中即时触发的空间音频则为交互提供听觉反馈，真实物体或硬件设备提供触觉反馈。例如推门交互，观者控制手柄与三维虚拟门的交互，触发VR视频播放开门的片段，造成观者推开房门的错觉，同时手柄震动提供触觉反馈，观者获得视觉和触觉的一致反馈，能体验到更强的虚拟化身代理感。英国科技公司研发的全身触觉反馈装置Tesla Suit运用脉冲电流让皮肤产生相应的感觉，或许将是未来完整感官电影的设备雏形。

（2）简化辅助原则

VR电影终究以叙事为重，适当弱化交互的存在感将帮助叙事顺利进行。除此之外，头戴显示器替换了用户的视觉信息，用户无法在虚拟世界看到完全同步于身体的虚拟化身。因此，创作者需遵循简化辅助原则，简化交互流程，适当提供交互辅助，让观者能够直截了当地进行交互。

例如，VR游戏中拾取物体的常规流程为：模型相交判断——按钮确认，其目的一是为了防止用户因为物体众多而出现错误拾取，二是设置难度，挑战用户控制能力。然而，VR电影需要透明化交互辅助叙事，交互流程中应适当减少按钮的参与，将拾取物体动作简化为模型相交即确认的流程，并为观者提供适当帮助，例如适当扩大交互热区，利用程序增益为观者提供轻微辅助，让观者轻松获取或操纵虚拟物体。这不仅能够降低交互难度，还可以推动交互叙事进程。《Beat Saber》称霸VR游戏届多年的原因之一就在于其玩法简单直接，玩家用化作光剑的手柄挥砍方块即可，没有多余的按钮操作，清晰明了。

在VR世界中，身体的运动即用户最真实快捷的反应，创作者可以利用观者行为反应设计不同的剧情，一则替代了突兀的文字选项式交互，二则观者无需过多思考便在不知不觉中完成选择，实现交互的透明化。这也是计算机理解人类行为的难点，莱瑞·泰斯勒的复杂度守恒定律揭示了简单适用的人机交互背后所需的复杂设计和计算，完美的交互离不开技术的发展。

（3） 叙事导向的交互时机原则

在等待观者选择交互的过程中，VR电影交互系统常停止视频内容的播放，处于静止状态，不符合认知经验；而观者在关注交互时，也可能错过叙事内容，导致理解偏差。因此创作者应该以叙事为导向设计交互时机。

以具身交互进行叙事。通过第一人称和虚拟化身体验VR影片，观者将产生虚拟化身为自己身体的错觉，在切身体验了当事人经历的情境、完成了扮演角色应该做的事情之后，观者不再置身事外，而是真实再现了扮演角色的一段经历，这有利于观者对角色产生真切的同理心，并可能影响观者本人的态度。当然，不同观者的心智、认知、情感和经验各不相同，因而可能引发不同的交互过程，实现有趣的个性化体验。同时，具身交互叙事能够满足观者对自我代入的期待，如浪漫的恋爱情节将给予观者强烈的真实感和代偿感，满足观者的观影期待。

交互引发的叙事。借用数据库电影的思想将VR影像“入库”，以静态空镜（封闭空间）为背景，利用交互引发VR影像片段的“匹配”与“提取”，交互与影像叙事交替进行，有效避免交互和影像之间的矛盾。将虚拟现实的全景空间作为叙事的载体，设计不同方位发生的事件，调动观者的视觉和身体行动，增加了观者的交互趣味性和具身沉浸感。例如《Buggy Night》中，观者看向天空时将触发音乐的变化和虚拟角色猫头鹰的出现，趣味性十足。类似《哈利·波特》中冥想盆的设计，倒入记忆液体便可还原记忆场景，观者的交互将引发场景中出现回忆或想象中的情境。相同空间不同时间发生的事件有利于集中体现人物的性格特征、处事风格和情感倾向。

5 总结

拍摄制作的VR电影具有影像完成性、多维感官性和时空连续性，因此其交互一直未能突破“幽灵式交互”和“选项式交互”的枷锁。具身交互代理的引入将VR电影交互引领至身体交互的时代、带来具身化和透明化的交互体验。虚拟化身帮助观者与虚拟世界产生联系，利用多种交互引导机制，遵循交互生活镜像、简化辅助原则，以最自然的体验拉近观者与VR交互叙事之间的距离，提出叙事导向的交互时机原则，平衡叙事与交互之间的矛盾，使拍摄制作的VR电影达到虚实合一的境界。虽然目前暂时还无法实现完全透明无感的具身交互，但是我们仍然期待设计者和技术研究者能携手创造出完美的VR交互，让VR电影焕发新的艺术生命力。

参考文献

（向下滑动阅读）

［1］梅洛·庞蒂. 知觉现象学［M］.姜志辉,译. 北京:商务印书馆,2001:116;130.

［2］ 郭子淳.具身交互叙事：智能时代叙事形态的一种体验性阐释［J］.新闻与传播评论,2022,75(02):23-34.DOI:10.14086/j.cnki.xwycbpl.2022.02.003.

［3］ 秦兰珺.视觉文化的内在超越——论虚拟现实电影的特性［J］.文艺理论与批评, 2017(01):144-157.DOI:10.16532/j.cnki.1002-9583.2017.01.014.

［4］ 李迅.从威尼斯国际电影节看3D电影到虚拟现实的美学轨迹［J］.当代电影,2017(11):106-109.

［5］ K. Kilteni, R. Groten, M. Slater, "The Sense of Embodiment in Virtual Reality," in Presence, vol. 21, no. 4, pp. 373-387, Nov. 2012, doi: 10.1162/PRES_a_00124.

［6］ Botvinick M, Cohen J. Rubber hands ‘feel’touch that eyes see［J］. Nature, 1998, 391(6669): 756-756.

【本文项目信息】北京市社科基金重点项目《5G时代智能媒体与文艺创新发展研究》（20YTA002）。

主管单位：国家电影局

主办单位：电影技术质量检测所

刊号：CN11-5336/TB

标准国际刊号：ISSN 1673-3215

官方网站：www.crifst.ac.cn

期刊发行：010-63245082