UE5在制作实时视效现场演唱会的应用

深受乐迷喜爱的佛蒙特州即兴演奏乐队Phish因永不重复的歌单而闻名。这支乐队在现场演出的即兴演奏中，其专辑中的歌曲会演化成全新的曲目。

当这支乐队在拉斯维加斯的Sphere场馆连续四晚演出时，他们一如既往地献上了前所未有的视听盛宴。

Sphere是一家最先进的场馆，其核心是250英尺高的巨型LED屏幕，将观众环绕在其中。受此宏伟音乐舞台的启发，这支乐队和创意工作室勇敢无畏的团队共同肩负起了一项使命：打造全世界规模最大、最具沉浸感的数字体验。

Moment Factory与Phish乐队、联合创意人兼演出总监Abigail Rosen Holmes、灯光设计师Chris Kuroda合作，共同打造了这些演出，并参与了舞台设计和内容制作。在全球最大的屏幕中工作时，该团队为实时生成视频内容引入了一种着眼于未来的方法。

然而，其意义远不止在大屏幕上呈现精彩视觉效果那么简单。

就和音乐一样，图形也要在当前时刻自然而然地发展和变化。它们必须实时响应音乐家的演奏，这并非易事，尤其是，必须考虑到这支乐队随时有可能开始一段20分钟的即兴演奏。

在VR中预演演出

Moment Factory的多媒体总监Manuel Galarneau是Sphere演出创意和艺术指导团队的负责人。

Moment Factory曾为Billie Eilish和Kiss乐队等打造过现场活动内容，但Galarneau隐约感觉到这场Sphere演出将与以往截然不同。“我们深知这将是一场艰巨的挑战。”他说，“这可是全球最大的屏幕。”

除了屏幕规模巨大外，所需的内容量同样规模宏大：四场四个小时的演出，视觉效果各不相同。

Moment Factory的CG主管Zane Kozak指出，团队通常需要很长时间来为交付这种大型节目形式做准备。“至少需要六个月到一年的时间来准备一切，安排各种计划，搞清楚如何传输400TB的内容。”他解释说，“但这次，我们只有三个月。”

为16K屏幕预先渲染一切是不现实的，数据量将非常庞大，而且这一过程耗时过长。“此外，这也会违背我们的初衷，即实现与乐队音乐相辅相成的效果。”Galarneau说，“为了在这间巨大的场馆中随着乐队的演奏生成视觉效果，虚幻引擎是不可或缺的工具。”

在舞台视觉效果中实现互动性自然需要使用实时引擎，同时，Galarneau还指出，实时引擎在探索创意想法和预演场馆中的演出效果时，也起到了至关重要的作用。

Moment Factory多年来一直在使用虚幻引擎进行VR预演。他们会创建场地的数字孪生，利用它评估特定地点的问题或挑战，并在到达现场前解决这些问题。

而在Sphere项目中，这一流程变得极具价值，因为它让团队能够快速发现当投影到Sphere的巨型屏幕上时，可能出现的任何与规模或动画时间相关的问题，并进行必要的调整。

“对我们的预渲染内容进行任何改动都是不可能的，更不用说重大改动了。”Kozak说，“而虚幻引擎给了我们进行调整和修改的自由，以符合艺术总监的指示，并在更贴合情境的空间中工作。”

当该团队最初尝试为演出预渲染不同的视觉效果时，他们很快就发现这些效果极为庞大，远超他们之前见过的所有规模。“下载任何内容都要花费数小时、数天甚至数周的时间。”Galarneau说。

相比之下，在虚幻引擎中工作时，团队可以在构建中做出改动，并且只需一分钟时间，即可在Sphere的屏幕上看到效果。

“它即插即用，迭代迅速，能让你立即看到变化。”Galarneau说，“从Sphere的地下室到屏幕，你只需几分钟就能身临其境。更新场景所需的时间比走过去还短。”

能够即时更改，意味着团队直到最后时刻都能尝试创意想法，并添加诸如细节模糊和额外粒子等修饰效果。“如果我们采用传统的预渲染方式，可能就没法做出这些改动了。”Galarneau说。

为现场活动视觉效果打造游戏

就像为任何其他乐队工作时一样，为Phish乐队的演出开发视觉效果时，必须从一份常规演出曲目表开始。
但不同的是，团队不知道即兴演奏将如何展开：乐队可能会延长曲目时间，或演奏不同版本。Kozak说：“我们必须找到一种能够让内容片段演化的方法，因为5分钟的片段可能扩展到近18分钟。”

在固定的线性时间线上进行的预渲染视觉效果收效甚微。作为替代方案，Moment Factory与品牌和虚拟制片公司Myreze，以及视觉体验平台Disguise合作，提出了一个新颖的想法：构建能随着音乐实时游玩的迷你电子游戏。

“我们有一套类似于电子游戏的工具，可以迁移到其中。”Galarneau解释说，“因此，我们实际上是在探索关卡和环境，就像在电子游戏中一样，而这些正是观众看到的视觉效果。”

正如首席执行官兼创始人Björn Myreze声称，他们的内部专家自称为“虚拟工程师”。该公司的动力主要来自于对身临其境技术原理和细节的热爱。

因此，他们非常适合解决这个整合Phish乐队的演出的技术难题。

Myreze立刻着手开发一个工具包，让操作人员能与乐队即兴配合，相得益彰。但他们并非这个工具包的实际使用者，这立即带来了挑战。

“通常情况下，我们会是我们制作的图形的最终操作人员。”Myreze的虚幻引擎美术师Håvard Hennøy Vikesland说，“但在这个项目中，我们不是。我们要将所有场景交给一个不了解内部技术运作的人。”

Myreze需要构建一个既易于使用和理解，而且无论触发何种组合都能无缝融合视觉效果的控制台。

为了开发这种控制台，该团队开启了方方面面的研发流程。“我们需要构建系统，能以前所未有的方式实时触发的数学和着色器系统。”Björn Myreze说。

经过大量试验后，该团队确定了十个参数，调整这些参数即可改变视觉效果的各个方面，例如速度、颜色和场景中的泛光等其他审美元素。

这些参数由一个带有多个滑块的灯光板控制，而该灯光板与虚幻引擎DMX插件连接，以管理屏幕上的灯光和效果。“从本质上讲，我们所做的就是为图形操作员制作游戏。”Vikesland说，“而游戏的目标是与乐队一起即兴演奏。”

采用以游戏为导向的方法意味着该项目的每个场景都必须以比往常更依赖数学和算法的方式构建。这是因为所有视觉元素都必须配合乐队，而乐队可能为所欲为。

“如果你要制作一棵生长的树，那它就必须随着乐队的演奏生长。”Vikesland解释说，“你不能只制作预烘焙的生长动画。因为，如果乐队做出了你没想到的事，那会怎样？图形就不再匹配了。我们必须构建一个足够灵活的系统，无论乐队做什么都能与其配合。”

这意味着所有内容都必须以参数化的方式构建，即基于一系列预定义的规则。

团队从零开始构建了一切。不能烘焙来自其他3D软件的动画，他们使用数学和着色器偏移制作了动画。

这种新颖的方法造就了一些有趣且独特的开发方法。演出中的泡泡就是一个典型例子。“如你所见，它只是个泡泡。”Vikesland说，“很普通，很简单。但追根究底，这实际上是我们构建过的最复杂的着色器之一。”

你可能会认为这些泡泡是三维球体，但它们其实是平面。

通过使用这种平面和复杂的数学设置，该团队得以模拟光线将如何与具有真实物理属性的三维泡泡相互作用。“从某种意义上说，这是在材质中进行光线追踪。”Vikesland说，“但这是在二维平面上发生的。而且最终形成了一个效果极佳的场景。”

树木的情况也类似。

“你可能会认为，只需找到树木资产，然后用它填充场景，就能做出一片森林。”Vikesland说，“但预构建的树木模型绝对无法呈现我们需要它呈现出的效果。”

作为代替，该团队使用Houdini开发了他们自己的树木制作工具，以该工具制作的树被导出至虚幻引擎中时，将带有许多团队通常无法访问的实用属性。

“UV贴图描绘了树枝的长度和粗细，你可以使用这些数据以有趣的方式让树木动起来。”Vikesland说，“当然，你可以使其生长或缩小。但你也可以让图案以非常迷幻的方式在树木上移动，你可以在树枝上放烟花。”

无限的创意可能性

制作Phish乐队在Sphere场馆的现场演出时，并未用到任何全新技术——游戏引擎已经存在了几十年，而且这也不是第一场在Sphere举办的演出。
但凭借些许想象力和探索精神，这场演出的幕后团队创作出了真正称得上独一无二的作品。这展现了当今技术提供的潜在创意可能性。而对Bjorn而言，回顾他的创作流程如何随着时间的推移而演变，可能是这个项目中最令创作者兴奋的方面。
“有趣的是，从前我觉得技术限制了我的想象力。”他说，“而现在没有界限了，虚幻引擎拥有无限可能。我认为这是此事最令人兴奋的一部分。”

全文完

能进NVIDIA都不是一般的大神，这渲染能力太强了

叠纸游戏《万物契约》项目组大裁员！百人团队仅剩20多人？

洛杉矶大火烧到了好莱坞？电影和动画产业都受到了影响！！