DreamGaussian4D：10分钟实现四维内容生成

在近期的Arxiv上，商汤科技-南洋理工大学联合 AI 研究中心 S-Lab ，上海人工智能实验室，北京大学与密歇根大学联合提出DreamGaussian4D（DG4D），通过结合空间变换的显式建模与静态3D Gaussian Splatting（GS）技术实现高效四维内容生成。四维内容生成近来取得了显著进展，但是现有方法存在优化时间长、运动控制能力差、细节质量低等问题。

DG4D提出了一个包含两个主要模块的整体框架：1）图像到4D GS- 我们首先使用DreamGaussianHD生成静态3D GS，接着基于HexPlane生成基于高斯形变的动态生成；2）视频到视频纹理细化- 我们细化生成的UV空间纹理映射，并通过使用预训练的图像到视频扩散模型增强其时间一致性。值得注意的是，DG4D将四维内容生成的优化时间从几小时缩短到几分钟（如图1所示），允许视觉上控制生成的三维运动，并支持生成可以在三维引擎中真实渲染的动画网格模型。

论文名称： DreamGaussian4D: Generative 4D Gaussian Splatting 论文地址： https://arxiv.org/abs/2312.17142 项目主页： https://jiawei-ren.github.io/projects/dreamgaussian4d/ Demo地址： https://huggingface.co/spaces/jiawei011/dreamgaussian4d

图1 DG4D在四分半钟内可实现四维内容优化基本收敛

一、问题和挑战

生成模型可以极大地简化多样化数字内容（如二维图像、视频和三维景物）的生产和制作，近年来取得了显著进步。四维内容是诸如游戏、影视等诸多下游任务的重要内容形式。四维生成内容也应支持导入传统图形学渲染引擎软件（比如，Blender或者Unreal Engine），以接入现有图形学内容生产管线（见图2）。尽管有一些研究致力于动态三维（即四维）生成，但四维景物的高效和高质量生成仍然存在挑战。近年来，越来越多的研究方法通过结合视频和三维生成模型，约束任意视角下内容外观和动作的一致性，以实现四维内容生成。

图2 DG4D生成的四维内容支持导入到传统计算机图形学渲染引擎中

目前主流的四维内容生成方法都基于四维动态神经辐射场（4D NeRF）表示。比如，MAV3D[1] 通过在HexPlane[2]上提炼文本到视频的扩散模型，实现了文本到四维内容的生成。Consistent4D[3]引入了一个视频到四维的框架，以优化级联的DyNeRF，从静态捕获的视频中生成四维景物。通过多重扩散模型的先验，Animate124[4] 能够通过文本运动描述将单个未处理的二维图像动画化为三维的动态视频。基于混合SDS[5]技术，4D-fy[6]使用多个预训练扩散模型可实现引人入胜的文本到四维内容的生成。

然而，所有上述现有方法[1,3,4,6]生成单个4D NeRF都需要数个小时，这极大地限制了它们的应用潜力。此外，它们都难以有效控制或选择最后生成的运动。以上不足主要来自以下几个因素：首先，前述方法的底层隐式四维表示不够高效，存在渲染速度慢和运动规律性差的问题；其次，视频SDS的随机性质增加了收敛难度，并在最终结果中引入了不稳定性和多种瑕疵伪影现象。

二、方法介绍

与直接优化4D NeRF的方法不同，DG4D通过结合静态高斯泼溅技术和显式的空间变换建模，为四维内容生成构建了一个高效和强力的表征。此外，视频生成方法有潜力提供有价值的时空先验，增强高质量的4D生成。具体而言，我们提出了一个包含两个主要阶段的整体框架：1）图像到4D GS的生成；2）基于视频大模型的纹理图细化。

2.1 图像到4D GS的生成

图3 图片到4D GS生成框架图

在这一阶段中，我们使用静态3D GS及其空间变形来表示动态的四维景物。基于一张给定的二维图片，我们使用增强方法DreamGaussianHD方法生成静态3D GS。随后，通过在静态3D GS函数上优化时间依赖的变形场，估计各个时间戳处的高斯变形，旨在让变形后的每一帧的形状和纹理都与驱动视频里面的对应帧尽力保持吻合。这一阶段结束，将可以生成一段动态的三维网格模型序列。

图4 DreamGaussianHD初始化基于3D GS的三维物体模型

• DreamGaussianHD基于近来使用3D GS的图生三维物体方法DreamGaussian[7]，我们做了一些进一步的改进，整理出一套效果更佳的3D GS生成和初始化方法。主要改进的操作包括有1）采取多视角的优化方式；2）设定优化过程中的渲染图片背景为更适合生成的黑色背景。我们称呼改进后的版本为DreamGaussianHD，具体的改进效果图可见图4。

图5 HexPlane表征动态形变场

• Gaussian Deformation基于生成的静态3D GS模型，我们通过预测每一帧中高斯核的变形来生成符合期望视频的动态4D GS模型。在动态效果的表征上，我们选用HexPlane（如图5所示）来预测每一个时间戳下高斯核位移、旋转和比例尺度，从而驱动生成每一帧的动态模型。此外，我们也针对性地调整设计网络，尤其是对最后几个线性操作的网络层做了残差连接和零初始化的设计，从而可以平滑充分地基于静态3D GS模型初始化动态场（效果如图6所示）。

图6 零初始化动态形变场对最后生成效果的影响2.2 视频到视频的纹理优化

图7 视频到视频纹理优化框架图

类似于DreamGaussian，在第一阶段基于4D GS的四维动态模型生成结束后，可以提取四维的网格模型序列。并且，我们也可以类似于DreamGaussian的做法，在网格模型的UV空间中对纹理做进一步的优化。不同于DreamGaussian只对单独的三维网格模型使用图片生成模型做纹理的优化，我们需要对整个三维网格序列做优化。并且，我们发现如果沿用DreamGaussian的做法，即对每个三维网格序列做独立的纹理优化，会导致三维网格的纹理在不同的时间戳下有不一致的生成，并且常常会有闪烁等瑕疵伪影效果出现。

鉴于此，我们有别于DreamGaussian，提出了基于视频生成大模型的视频到视频的UV空间下纹理优化方法。具体而言，我们在优化过程中随机生成了一系列相机轨迹，并基于此渲染出多个视频，并对渲染出的视频做相应的加噪和去噪处理，从而实现对生成网格模型序列的纹理增强。基于图片生成大模型和基于视频生成大模型做的纹理优化效果对比展示在图8中。

图8 基于视频到视频的纹理优化可以实现时序上纹理的稳定性和一致性

三、实验结果

相比之前整体优化4D NeRF的方法，DG4D显著减少了四维内容生成所需的时间。具体的用时对比可见表1。

表1 四维内容生成方法用时对比

对于基于单图生成四维内容的设置，我们跟随之前方法的对比方式，将生成的四维内容与给定图片的一致程度汇报在表2中。

表2 基于单图生成的四维内容与图片的一致性对比

对于基于视频生成四维内容的设置，视频生成四维内容方法的数值结果对比可见表3。

表3 基于视频生成的四维内容相关方法的数值结果对比

此外，我们还对最符合我们方法的单图生成四维内容的各个方法的生成结果做了用户采样测试，测试的结果汇报在表4中。

表4 基于单图生成的四维内容的用户测试

DG4D与现存开源SoTA的图生成四维内容方法和视频生成四维内容方法的效果对比图，分别展示在图9和图10中。

图9 图生四维内容效果对比图

图10 视频生四维内容效果对比图

此外，我们还基于近期的直接前馈实现单图生成3D GS的方法（即非使用SDS优化方法），做了静态三维内容的生成，并基于此初始化了动态4D GS的生成。直接前馈生成3D GS，可以比基于SDS优化的方法，更快地得到质量更高，也更多样化的三维内容。基于此得到的四维内容，展示在图11中。

图11 基于前馈生成3D GS的方法生成的四维动态内容

更多基于单图生成的四维内容展示在图12中。

图 12 单图生成四维内容的动态展示

四、结语

基于4D GS，我们提出了DreamGaussian4D（DG4D），这是一个高效的图像到4D生成框架。相较于现存的四维内容生成框架，DG4D显著将优化时间从几小时缩短到几分钟。此外，我们展示了使用生成的视频进行驱动运动生成，实现了视觉可控的三维运动生成。最后，DG4D允许进行三维网格模型提取，并支持实现时序上保持连贯一致的高质量纹理优化。我们希望DG4D提出的四维内容生成框架，将促进四维内容生成方向的研究工作，并有助于多样化的实际应用。

参考资料

[1] Singer et al. "Text-to-4D dynamic scene generation." Proceedings of the 40th International Conference on Machine Learning. 2023.

[2] Cao et al. "Hexplane: A fast representation for dynamic scenes." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2023.

[3] Jiang et al. "Consistent4D: Consistent 360° Dynamic Object Generation from Monocular Video." The Twelfth International Conference on Learning Representations. 2023.

[4] Zhao et al. "Animate124: Animating one image to 4d dynamic scene." arXiv preprint arXiv:2311.14603 (2023).

[5] Poole et al. "DreamFusion: Text-to-3D using 2D Diffusion." The Eleventh International Conference on Learning Representations. 2022.

[6] Bahmani, Sherwin, et al. "4d-fy: Text-to-4d generation using hybrid score distillation sampling." arXiv preprint arXiv:2311.17984 (2023).

[7] Tang et al. "DreamGaussian: Generative Gaussian Splatting for Efficient 3D Content Creation." The Twelfth International Conference on Learning Representations. 2023.

llustration From IconScout By Delesign Graphic

-The End-

扫码观看！

本周上新！

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区（

www.techbeat.net

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章，并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励

投稿方式

发送邮件到

chenhongyuan@thejiangmen.com

或添加工作人员微信（chemn493）投稿，沟通投稿详情；还可以关注“将门创投”公众号，后台回复“投稿”二字，获得投稿说明。

关于我“门”

将门是一家以专注于数智核心科技领域的新型创投机构，也是北京市标杆型孵化器。 公司致力于通过连接技术与商业，发掘和培育具有全球影响力的科技创新企业，推动企业创新发展与产业升级。

将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com

点击右上角，把文章分享到朋友圈