刷新3D生成上限！一键生成精细到毛发的3D资产

Ultra3D团队 投稿
量子位 | 公众号 QbitAI

在高质量3D生成需求日益增长的背景下，如何高效生成结构精良、几何精细的三维资产，已成为AIGC和数字内容创作领域的关键挑战。

尽管近年来的3D生成方法发展迅速，精度越来越高，但现有框架在兼顾效率和质量上依然面临瓶颈，尤其是在高分辨率建模中，计算的高复杂度严重制约了生成速度和应用落地。

为解决上述困境，南洋理工大学联合数美万物、西湖大学提出了Ultra3D：一种全新的3D生成框架。

Ultra3D提出了一种 coarse-to-fine 的两阶段生成流程，高效实现高分辨率三维资产建模，刷新了3D生成质量的上限。在第一阶段，Ultra3D 利用高效的 VecSet 表示快速生成 coarse mesh，并导出稀疏体素；在第二阶段，引入新提出局部化的 Part Attention，对每个体素进行细粒度特征建模。

该机制仅在语义一致的局部区域内进行注意力计算，大幅降低全局注意力的冗余计算，有效提升生成效率。该方法支持1024分辨率输出，实现在保持高保真度的同时，实现高达6.7×的加速比，为三维资产的快速生成和下游应用提供了切实可行的解决方案。

研究背景

3D生成领域近年来进展迅猛，稀疏体素凭借其对表面细节强大的建模能力成为了近来的各个SoTA方法普遍采用的3D表征。

这一表征将3D物体编码成稀疏体素以及与各个体素对应的latent token。其虽然表达能力非常强，但由于其token数目巨大，在高分辨率下往往过万，所以导致其计算效率很低。

鉴于此，之前的工作往往局限于一个较低的分辨率，从而难以冲击更高的质量。为解决这一问题，Ultra3D旨在提出一个全新的兼顾效率和质量的二阶段生成pipeline，在不降低质量的情况下大幅加速了训练和推理，从而将其扩展到了更高的分辨率和更高的质量。

方法概述

Ultra3D 由一个二阶段的Pipeline构成：第一阶段通过紧凑高效的 VecSet 表征快速生成 coarse mesh，并据此体素化得到稀疏体素的结构布局；第二阶段则基于该布局引入结构感知的 Part Attention，对每个体素进行 latent feature 精细建模。

Part Attention 通过几何对齐的语义分组，仅在局部区域内计算注意力，大幅减少计算冗余，同时保持几何连续性和细节质量。实验显示，Ultra3D 可在不牺牲生成质量的前提下，实现3.3× 的整体加速，并在多个指标上超越现有 SoTA 方法，兼具速度与保真。

Ultra3D的核心在于其新提出的part attention机制，sparse voxel这一表征虽然表达力很强，但苦于其token数太大，导致attention的计算开销巨大。

为解决这一问题，Ultra3D提出了一种专为3D设计的part attention，其将attention计算限制在同一个part group内，避免了冗余的全局attention，从而在不降低质量的情况下大幅度地降低了计算压力。

一个简单的替代方案是使用在大语言模型领域常用到的window attention，但如下图所示，实验表明这种attention直接运用到3D中会导致质量的下降。这是因为其固定的分割模式与3D物体的语义并不吻合。

与其他方法的对比实验和user study表明，Ultra3D在生成质量上远超了之前的SoTA方法，能生产具有高精度细节的高分辨mesh。attention的ablation实验也表明part attention是更加适用与3D生成的local attention机制。

结语

Ultra3D提出了一个兼顾效率与保真度的创新性3D生成框架，成功突破了当前主流方法在分辨率和计算成本之间的权衡瓶颈。

通过coarse-to-fine的双阶段设计，以及结构感知的Part Attention机制，Ultra3D显著提高了稀疏体素建模的效率，在保持高质量输出的同时实现了多倍加速，支持高达1024分辨率的三维资产生成。

这一方法不仅在多个定量指标上大幅超越现有SoTA方法，在用户主观评价中也表现优异，能够真实还原复杂几何结构和微小纹理细节，如毛发、衣褶等，展现出卓越的细节还原能力。

更重要的是，Ultra3D具备良好的扩展性和通用性，为数字内容创作、游戏建模、AR/VR、影视制作等多种下游应用提供了更快速、更高质的3D建模方案。

随着生成式AI向多模态和高保真内容生成不断迈进，Ultra3D所展现出的性能和潜力，标志着高分辨率3D生成进入了一个新阶段。

未来，Ultra3D有望进一步拓展到动画、可编辑3D内容生成以及3D-4D一体化建模等更多复杂任务，成为推动AIGC向更高维空间发展的关键技术基石。

论文链接：https://arxiv.org/abs/2507.17745
项目地址：https://buaacyw.github.io/ultra3d/