暌违三年，SIGGRAPH Asia 2024原来这么精彩~

SIGGRAPH Asia,是ACM SIGGRAPH(国际计算机协会计算机图形专业组)主办的SIGGRAPH会议的亚洲版本，同样是计算机图形学、交互技术、数字艺术及相关领域的国际顶级学术会议。

与受疫情影响“门庭冷落”的SIGGRAPH Asia 2021相比，时隔三年在日本东京国际论坛举行的SIGGRAPH Asia 2024就热闹很多，吸引了来自30个国家的约9000名研究者，算得上是大型盛会了。

去年12月在东京召开的SIGGRAPH Asia 2024，主题是“Curious Minds”，可以直译为“充满好奇心的人”，寓意着会议上介绍的作品以及研究人员深入研究最新技术的背后，都是由一颗“好奇心”所驱使。

虽然是亚洲版，但水准绝对还是SIGGRAPH的水准，下面小编就从众多项目中，挑选几个关注度比较高的给大家小小介绍下~

01

主题演讲：一块布的无限可能性

SIGGRAPH Asia的主题演讲并非直接聚焦于CG/VFX，而是融合了一些与周边行业相关的启示性话题。2024年度的三场主题演讲中反响最热烈的，是三宅设计总监宫前义之带来的—“The Endless Possibilities of a Piece of Cloth”(一块布的无限可能性)。

这场演讲不仅打破了计算机图形学与视觉特效的传统技术框架，更通过科技与时尚的跨界融合，揭示了未来设计的革命性方向。

作为A-POC ABLE ISSEY MIYAKE的设计师，宫前义之长期致力于开发“A-POC”(A Piece of Cloth)这一创新理念和技术。他提到19世纪出现的采用穿孔卡片进行程序控制的雅卡尔织机，是现代计算机概念的先驱，为纺织品设计带来了新的可能性。

“A-POC”超越了传统的剪裁和拼接服装制作方法，通过最小化布料的裁剪和缝制，使其转变成立体形状。这种方法不仅减少了浪费，还能实现美观的设计。

此外，他还通过多个项目展示了技术和艺术结合的可能性，如使用米糠制成的环保碳材料制作衣物、应用折纸技术的立体夹克以及研发遇热变形的3D材料等。这些项目都着眼于环境循环设计、传统与最新技术的融合，强调了除了技术进步外，人类直觉和感性的价值，以及跨领域专家合作的重要性。

这场主题演讲在展望技术和艺术交汇点上的设计未来的同时，还传递出了将古老材料布与最新技术和创新思维相结合的未来愿景。

02

制作揭秘：《异形：夺命舰》致敬经典与静谧恐怖科技重构

2024年上映的《异形：夺命舰》，以静寂恐怖和宇宙深渊未知压迫感为核心。负责该片特效的Weta团队通过传统模型工艺与数字技术结合，重构了《异形》的视觉语言。

在展现巨大宇宙飞船崩塌的场景时，团队继承了旧作中“摧毁手工模型”的传统方法，同时利用Houdini进行物理模拟，精细地构建每一个内部结构细节。此外，虽然行星环的设计参考了土星的冰环，但通过使用Houdini进行程序化模拟生成，并针对每个镜头细致地定制密度和运动，使得整个影片充满了紧张感，也给观众带来了压倒性的现场感。

《异形：夺命舰》既尊重了手工艺式的影像制作方法，又融合了最尖端的技术，创造了一种新的恐怖电影制作方式，让观众能够回到作品的起源，体验那份“静谧的恐怖”。

03

制作揭秘：微型精锐通才团队开创日式极限创作

在第96届奥斯卡金像奖上拿下最佳视效奖的《哥斯拉1.0》，VFX部分仅由一个35人小团队完成，在预算和时间双重限制下，颠覆了传统好莱坞CG工业流程。

与众多好莱坞电影中常见的分工体制不同，《哥斯拉1.0》团队推行的是“全员通才”模式，每位成员需横跨多环节，从生物绑定到流体模拟，多手抓，每手都要硬。

特别值得一提的是海水场景的流体动力学模拟。如果粒子数量不足就会导致质感虚假，为此团队每天进行大量测试，并通过庞大的模拟数据追求高质量的粒子表现。

04

制作揭秘：《奥特曼：崛起》鲜亮视觉风格的背后

由Netflix和工业光魔(ILM)联合打造的动画作品《奥特曼：崛起》,以绘画级视觉质感和极致美术控场力，重新定义了特摄题材的数字美学边界。

制作团队为角色和背景创建了多层次的细致内容，特别根据角色的情感和个性来设计了照明方式和动画。

使用Katana通过节点化灯光系统，实现“情绪光谱”：主角Ken的战斗场景采用冷蓝色调与动态频闪，暗示内心的挣扎；奥特曼变身时刻则切换为金色放射光，致敬原版“光之巨人”的意向。通过Mari在角色皮肤纹理中嵌入多层历史痕迹(如战斗磨损、能量过载导致的血管灼烧)，甚至模拟出赛璐璐动画的胶片颗粒噪点。

镜头光晕只在实拍的摄像镜头中自然发生，能够给予观众眩目和光辉的印象，这里在特效中引入镜头光晕以增强视觉效果

忠实地再现了东京的城市景观以及目黑区著名的老店“とんき”的内部装饰，作品真实性大幅提升

团队采用了被称为“动画物理学”的独特方法，将真实的物理模拟与动画的时间安排相结合，以风格化的方式表现爆炸、水花等特效。

此外，还把2D动画中的技术如“运动模糊”和“冲击帧”应用到了3D环境中，从而为场景增添了动感和紧张感，不仅丰富了视觉语言，也使得整个作品更加生动有趣。

05

制作揭秘：《幽游白书》动作预览与VFX的完美结合

由国际视效公司操刀的《幽游白书》真人电影，凭借一段“零剪辑长镜头”火爆出圈。长达2分37秒的高密度战斗场景，凭借“角色永不消失”的绝对连续性，将日式特技与好莱坞级数字技术推向了融合的临界点。

从正式拍摄前，Megalis VFX团队就使用“动作预览（stunt-vis）”的技术，通过动作捕捉+AI轨迹预测，预先模拟动作场面，详细规划制作场景。

为了满足导演“不能让任何角色在观众视线内消失”的严苛要求，团队开发了“动态替身切换系统”，当真人演员因爆破等特效被遮挡时，无缝切换为高精度数字替身；利用眼球追踪算法，确保替身与真人演员的视线方向始终锁定观众焦点角色。

制作期间，团队基于动作预览和实拍创建了数字替身，并引入了使用Houdini高效生成玫瑰鞭等复杂资产的技术。在背景和角色调整合成时，采用了分割Nuke脚本进行管理的方法，即使在制作素材不断更新的情况下，也能完成视觉上统一连贯的场景。

06

制作揭秘：《SHOGUN将军》现实与VFX的较量

由瑞典VFX工作室Important Looking Pirates主导的史诗剧《SHOGUN将军》，凭借“像素级历史还原”和“规模美学”重新定义了历史题材的视觉真实感。

SIGGRAPH Asia 2024会上，ILP视效总监也揭秘了这场穿越400年的数字造物运动。

从制作早期阶段，ILP就参与其中，基于详尽的研究来确保历史准确性，进而创建VFX。为了还原日本战国时期服饰动态，开发基于和纸褶皱原理的“千代纸算法”，通过再现不同武士阶层的独特服饰和动作等历史上重要的细节，真实还原时代场景。

在海洋场景中，将实拍素材与CG生成的水面和水花相结合，实现了自然水流的真实表现。参考江户时代浮世绘中的浪花形态，使用Houdini程序化生成“菱型碎浪”再现了海浪汹涌及反射变化等接近真实自然环境的质感。

此外，电影中还出现了10万人规模的群集场景。为了同时实现壮观的规模感和高质量的视觉效果，团队采用了被称为“香肠军队”的技术管理大量角色，即在不显眼的角色上使用简单形状表示，从而在有效处理大规模人群的同时保持个体行为的历史考据。

07

基于个性化素材的复杂提示生成图像技术「PALP」

Google Research的研究团队,提出了一项目名为“PALP(Prompt Aligned Personalization:提示对齐个性化)”的技术，能够在使用宠物等个性化主体生成图像时，提高与复杂文本提示之间的一致性。

传统方法难以同时满足个性化主体特征保留与文本提示一致性的需求，导致基于个性化主体的复杂图像生成变得困难。而PALP技术，通过对特定提示进行个性化适配，能够让生成的图像更好地与提示内容相匹配。

具体来说，团队采用一种称为“得分蒸馏采样(Score Distillation Sampling)”的方法，通过量化生成图像与提示的匹配度来优化一致性；即使是对复杂详细的提示，也能实现高度的文本一致性，从而合成多个主体，或基于参考图像进行创作，生成新的图像。

解决了以往结合个性化主体和详细文本描述时遇到的问题，不仅提升了生成图像与用户需求之间的匹配度，还极大地扩展了图像生成技术的应用范围和创造性潜力。

08

基于扩散模型的线稿动画着色技术「LVCD」

由香港大学的研究团队开发的，名为“LVCD（Lineart Video Colorization with Diffusion Models：使用扩散模型进行线画视频着色）”的AI系统，能够通过输入线稿动画帧序列和参考彩色原画，实现线稿动画的自动着色。

LVCD由三大核心模块组成：

1.线稿-视频转换模块：

通过大量数据学习，实现线稿图像到视频转换的模块；

2.参考式着色模块：

先学习基础线稿着色能力，再结合参考彩色原画风格进行动态帧着色；

3.时序扩展模块：

在保持原视频特征连贯性的前提下，实现动画播放时间的智能延长。

当然，这项技术目前还存在一定的局限性，虽然LVCD在自动化着色方面取得了显著进展，但在某些复杂场景下仍需要改进或人工干预。

09

ToonCrafter:输入2张原画即可生成复杂动作中间帧

继LVCD之后，香港大学研究团队再度推出颠覆性AI工具ToonCrafter，只需输入两张关键原画，即可生成包含复杂运动与遮挡关系的高质量中间帧。

ToonCrafter，突破传统原画间图像补全算法对线性运动假设的依赖。团队开发了一种专门针对动画的插值图像处理技术，利用实拍视频-动画映射学习，将真人动作的物理轨迹转化为动画运动规则。

除此之外，研究团队还介绍了一款名为“草图编码器(Sketch Encoder)”的工具，允许用户通过手绘中间帧的方式来微调运动的生成过程，这意味着用户可以更加精确地控制动画中角色的运动细节。

10

DiffuHaul:实现图像内物体拖拽式编辑

NVIDIA研究院团队发布的革命性AI工具DiffuHaul，能够在保持图像整体特征的同时，允许用户拖拽图像内物体进行编辑。用户可以直接拖动画面中的对象至任意位置，AI自动补全背景并保持全局一致性。

DiffuHaul整合了两个核心模块：

「BlobGEN」模块用于识别对象位置变更前图像的特征；另一个是执行对象移动过程中图像生成任务的「Gated Self-Attention Masking」模块。

不过，DiffuHaul也存在如无法旋转或改变移动对象的大小、以及不能处理拖动对象时发生的碰撞问题等限制。

11

GaussianObject:仅用四张不同视角图像即可生成3D模型

华为研究院团队推出了3D生成式AI，GaussianObject。能够通过4张不同视角拍摄的物体照片，一键生成高精度3D模型。

GaussianObject，利用从2D图像生成3D对象的方法高斯喷射(Gaussian Splattering)，通过粗粒度高斯分布快速构建物体的几何轮廓，识别基础形状、估算材质反射属性与初步展UV；在初阶模型表面叠加细粒度高斯核，捕捉微结构，采用光照感知优化根据输入照片的光影反向推算环境光照贴图。

但由于GaussianObject是基于四张图片生成3D对象，这意味着模型不可见区域可能会产生所谓的图像幻觉(hallucination)，出现违背真实物理的现象。

12

Still-Moving:从文本到风格化视频

Google DeepMind团队推出的AI系统Still-Moving，实现了从文字→图像→风格化视频的全链路生成。

Still-Moving整合了基于文本生成图像的AI模型和动态风格迁移模块，将文本想象力无缝转化为动态视觉叙事。在动画、油画、像素艺术等10种不同风格的测试中，视频帧与原图风格相似度达89.2%，物理合理性评估超越同类工具。

当然作为一项新技术，Still-Moving同样存在局限性：若初始图像生成偏离用户意图，后续的视频可能不符合用户预期；还可能出现过拟合问题，导致视觉效果不够理想。

13

TrailBlazer:可指定运动和变形的视频生成AI

新西兰惠灵顿维多利亚大学研究团队，开发了一款新型视频生成AI「TrailBlazer」，允许用户直接控制生成视频中物体的运动轨迹和形态变化。

TrailBlazer基于扩散模型框架，通过大量图像序列生成视频；同时引入运动控制模块，将用户指令编码为空间约束条件，引导生成过程。

用户可以在生成视频中框选任意对象，并指定其运动方向，TrailBlazer将根据指令生成符合物理规律的运动轨迹，支持同时控制多个对象的独立运动。可实现对象形态的渐进式转变，变形过程能够保持视觉连贯性，支持变形与运动复合操作。

不过TrailBlazer目前受限于概率生成机制，可能会出现运动轨迹偏移或变形逻辑异常；复杂指令易导致生成失败，或最终视频与预期不符。

14

Style-NeRF2NeRF:可通过文本指令编辑由NeRF生成的3D场景

东京大学及其研究团队推出了名为「Style-NeRF2NeRF」的AI系统，允许通过文本指令对由神经辐射场（NeRF）生成的3D场景进行风格化编辑。

例如，用户可以先使用NeRF从多个图像中生成一个农场场景，然后通过输入“复古动画风格的农场”这样的描述，得到经过编辑、符合预期风格的3D场景。

Style-NeRF2NeRF不仅适用于NeRF生成的3D场景，同样也可以应用于使用高斯散布(Gaussian Splattering)这一3D场景生成技术创建的场景。

但目前Style-NeRF2NeRF对于包含有精细纹理图案的薄物体（如草木）的3D场景，或是结构复杂（如放置在不同背景前的人物）的3D场景，进行编辑时可能会失败。

15

URAvatar:手机端多光照虚拟形象生成AI

由Meta研究团队发布的名为「URAvatar」的生成式AI，可以通过智能手机扫描用户的头部，在多种照明条件下生成相应的虚拟形象(avatar)。

URAvatar通过深度学习不同光照环境下拍摄的人体头部扫描数据，创建能够适应多种照明条件的通用虚拟形象。突破传统专业设备限制，支持普通智能手机完成数据采集，且无论是在明亮的日光下还是昏暗的室内环境中，生成的虚拟形象都自然真实。

Meta研究团队认为，尽管存在一些挑战，但URAvatar为“虚拟传送”概念提供了技术支持，RAvatar在元宇宙社交、远程虚拟会议等领域具有应用潜力。

16

DualGS:高精度动态体积视频生成系统

上海科技大学研究团队发布的创新性体积视频生成技术DualGS，能够精准捕捉如乐器演奏等复杂人体运动，实现毫米级动作还原。

DualGS突破了传统单模建模局限，采用双通道高斯建模框架。关节运动高斯模型，通过6自由度参数化精准解析肢体运动轨迹；表面形变高斯模型，采用可微分渲染实时重建皮肤表面微观形变。

此外，研究团队还开发了DualGS Player，使得生成的体积视频可以通过VR头盔或智能手机等移动设备观看。

然而DualGS也存在一些限制。例如，在捕捉像乐器的弦或头发这样细小物体的动作时，可能无法实现精确的跟踪。同时，该技术目前还不支持对生成视频中的照明条件进行修改。

值得一提的是，在SIGGRAPH Asia 2024大会上，277篇入选技术论文中有超过50篇涉及人工智能技术，这或许标志着图形AI正在成为CG领域的核心发展方向。

E N D

“肝”一把！万一成了呢，名利双收!

看了大神作品，明白了为啥人家工资高