制作3D实时交互影像作品，需要用到哪些技术和软件？

分享至

对于喜爱新媒体艺术的人来说，teamlab这个名字一定不陌生，作为新媒体艺术界的当红炸子鸡，teamlab的团队成员则是包罗万象，他们这样描述自己的团队：一群由程序员、CG、艺术家、数学家、交互设计师等各种各样的人组成的追求极致技术的艺术集团。

这也就可以理解，为何teamlab每次的新作总是给人许多技术上的惊喜。但对于这些多技术交叉产生的新媒体艺术作品，我们似乎总是没有一个详细而准确的称呼来分辨他们的类别，比如teamlab的作品：《在人们聚集的岩石上，注入水粒子世界》

▲当人站立在作品上，触摸作品时，人会成为能够改变水流的岩石，观赏者自身变成了障碍物改变水的流向。

而对于类似于上面这样的作品，OF的一位老师给出了他对此类作品的描述：“3D实时交互影像作品”。

虽然读起来还是有些拗口，但如果了解作品所涉及到的技术，就能清晰的理解其中的含义。于是，本文简单的梳理了制作一件“3D实时交互影像作品”过程中，所需技术和一些相关的软件。希望能解答你的疑惑；有些地方不能说的很准确，也希望有大神能给予指正。

创意阶段

这个无需多言，创意可以很简单，也可以很具体，但完成一件优秀的作品，自然需要好好的规划作品的每个执行步骤。举个例子，下面是Playmodes工作室于9月发布的一款立体光动态雕塑作品「Espills」

3D视觉内容创作

3D建模的软件很多，每款应用的领域和侧重的功能也不尽相同。比如3ds Max这款软件常用于建筑设计，而Autodesk Maya等则是常用于游戏CG，动画等行业。

这两款软件也并不能完全满足大家的需求，有的设计师希望能快速上手3D建模，于是便选择学习难度低，作品质量高，拥有许多预设的C4D；有人希望做出爆炸级别的特效，就选择了自带Mantra渲染器的Houdini；除了这些软件，还有常用于三维角色建模的ZBrush；以及为3D分形成像的Mandelbulb 3D等等。

▲Mandelbulb 3D操作界面

可能有些人会问，这么多3D建模软件，哪一款才是我的菜？建议你理清自己的需求后，向3D届的老前辈咨询，或者仔细阅读下这篇文章《从百度、谷歌搜索指数看三维软件的趋势》http://www.bgteach.com/article/29

最后，对分形艺术感兴趣，又懒得下Mandelbulb 3D去体验的，可以直接在App store上下载“分形的奥秘”这个应用，体验分形之美。

在完成了作品的大纲，建好了原始模型后，接下来就是为模型贴图，并细致调整折射，反光等参数，让你的模型显示你想要的材质。

如果你的作品中还包含运动角色（人，动物），那你需要在贴好材质的模型上建造骨骼和控制器，这样就可以控制他们进行运动了，三维计算机动画本质上是定格动画（stop motion，或称静帧采集）的数字化后代；如果只是拍摄一段简单的3D角色运动的影像，那你只需摆弄好关键帧时角色的形象，之后的动作的绘制过程交给计算机就好了。

至于之后图像的合成，加入动态特效和视觉特效，调整摄影机的位置，难以用一两句话概括，所以不多赘述。

3D视觉元素做好了，接下来就是加入交互的模块了。

体感设备和实时渲染

许多人可能还记得有一段时间，许多卖电视的门店为了吸引顾客，放了个手柄，让大家玩耍各种体感游戏，比如体感网球，体感排球等等。

2006 年，任天堂发布了新一代游戏主机Wii，Wii配套的新款游戏手柄第一次将体感动作引入了电视游戏主机。之后微软在在2010正式发布Kinect，Kinect是微软为Xbox开发的体感识别摄像头，在其开发的目的是用于游戏，但因为其价格低廉，受到了交互领域的极大追捧。

这或许是体感交互第一次大规模的出现在大众的视野。在销售前60天内，Kinect就卖出八百万部，成为那时全世界销售最快的消费性电子产品。

落红不是无情物，化作春泥更护花。虽然因为体感游戏的热度退却等原因，导致 Kinect最终停产，但它留下的相关技术却在交互等领域继续发光发热。其中应用最为广泛的，应该就是如今iPhone上的面部识别功能，当年为Kinect的技术支持公司PrimeSense，早在2013年就被苹果所收购。

这些3D体感交互游戏，正是“3D实时影像互动游戏”，而玩家用动作控制游戏中的3D角色，产生图像的过程，也正是一个实时渲染过程。

而特效CG公司，在渲染一段影视级别的视频时，需要处理的数据量和渲染一个3D游戏完全不在一个量级。这也是许多3D图形软件并不支持实时渲染的原因，原因无他：硬件带不动。因为哪怕1s的特效场景，都需要数台电脑渲染很长时间。但也有人说，我只想做一段简单的3D视频，处理数据量少了，不就可以进行实时渲染，一边渲染一边改模型？

可视化编程正是以“所见即所得”这种思想为原则的编程技术。它们力图实现编程工作的可视化，即随时可以看到结果，程序与结果的调整同步。可视化编程的语言也不少，我们这里就以Touch designer为例。

Touch designer是一款基于python语言的可视化编程软件（这里指软件），由多伦多的Derivative公司开发。关于Touch designer的用途，在这里我想引用Touch designer中文社区对这款软件的解释，同时也向大家安利他们的网站：http://www.touchdesigner.co/（他们的免费Touch designer教程已经出到中级了哦！）

从项目类型的角度来看，Touch designer可以用来制作交互装置，演出视觉装置投影，建筑外观投影；也可以控制机械臂，制作VR体验，还可以制作电影工业级别的界面设计。

▲“天真 · 自得 2.0” 古琴昆曲电子演出的视觉部分，新媒体艺术团队分号C进行了Processing视觉至TouchDesigner视觉滤镜处理

▲Unity3D实时渲染视觉

同时，不管什么类型的新媒体项目，在制作过程中，把TD当做一个整合统一的平台，是非常事半功倍的。它可以把你所想要的软硬件粘合起来，利用它们的特性创造出更为强大的新媒体怪兽。

对于艺术家和设计师来说，Touch designer非常容易上手；对于程序员来说使用TD能轻松桥接艺术家们制作完成的视觉部分和后台程序部分。这样的软件能轻松结合不同能力的人员完美的完成项目。

而需要特别介绍的，则是Touch designer的实时3D渲染功能和编程方式，传统的编程流程是，先编写抽象的代码，当所有的步骤都凑齐了，再运行生成结果；而Touch designer则是采用图形的方式，用更直观的视觉化的方式去思考，让你设计的每一段程序都能直观的显示结果，并且直接进行调整，同时它支持许多主流的软硬件接口，比如用于手部动作识别的设备Leapmontion，体感识别的Kinect，而现场表演中常用的的MIDI，TouchOSC自然也是来者不拒。

▲在Touch designer中调整程序

▲马老师视频演示效果，左边屏幕是Touch designer的界面，右边是unreal4，平板上则是TouchOSC编辑器，你可以一边看渲染效果一边调整你的程序

而随着硬件性能的不断提升，游戏的画面越来越爆炸，一些游戏引擎也开始打影视行业的主意，不断进化自己的实时渲染功能。比如Unity这款3D游戏引擎，而不少视觉演出的舞台也使用Unity3D进行实时渲染。

这里安利一部2016年Oats Studio使用Unity实时渲染出的动画《ADAM》幕后制作访谈，你可以亲自感受下实时渲染出大片的快感。

Unity在国内火起来，有一部份原因是因为手游的兴起，因为手游对画质要求不需要太高，而且手游生命周期短，更看重研发效率和兼容性。Unity恰恰符合这些条件，所以很多小团队和个人都选择Unity为主要的开发工具。Unity也提供商城功能，用户可以在里面购买模型，特效和代码。

聊起Unity3D，自然要介绍下unreal.相比于Unity，unreal系列游戏引擎本身架构复杂，上手有一定难度，但它的渲染质量和效率比Unity3D强上不少。一般来说，程序员更喜欢调试方便的Unity，而美术建模人员更喜欢unreal，因为unreal和touch designer一样，也采用的顺序性编程，方便制作3D内容各个阶段的美术人员进行合作。

以上，就是制作一个3D实时交互影像作品，大致涉及的技术和软硬件。首先，你需要一个完整的创意执行计划，再通过Touch designer等平台搭建一个交互程序，处理各种交互硬件收集的信息，传输给3D场景并实时渲染出一段影像，最终完成一个3D实时交互影像作品。当然，你也可以选择由unity，unreal等游戏引擎来完成实更高质量的实时渲染的工作。

当然，想要完成一个高水平的交互作品，在上面的许多技术环节都有太多可以发挥的地方，比如这么多跨平台的软硬件凑在一起工作，如何能保证他们都运行的流畅？等等一系列问题。

正如吴宽老师在《艺术与生产力》一文中所说，“另很多艺术家感到沮丧的一个事实是：每一次推进艺术历史前进的核心动力并不是来自于艺术家，而是来自于生产力技术的革新。从岩画到油彩，从石雕到3D打印，从照相机到新媒体技术...每次生产力的革新，都会引发一场艺术历时的革命，促生新的艺术品种与流派诞生，催生一大批功成名就的艺术家。‘’

可以预见的是，艺术将越来越科技化，科技也将越来越艺术，两者在山麓分手，却终究会在山顶相逢。未来的艺术家会有越来越多的身份，而艺术的形式也会多种多样，更加丰富有趣。

— END —