OmniPart框架，3D内容创作像拼搭积木一样简单

本文的主要作者来自香港大学、VAST、哈尔滨工业大学及浙江大学。本文的第一作者为香港大学博士生杨运涵。本文的通讯作者为香港大学刘希慧教授与VAST 公司首席科学家曹炎培博士。

在3D内容创作领域，如何像玩乐高一样，自由生成、编辑和组合对象的各个部件，一直是一个核心挑战。香港大学、VAST、哈尔滨工业大学及浙江大学的研究者们联手，推出了一个名为 OmniPart 的全新框架，巧妙地解决了这一难题。该研究已被计算机图形学顶会 SIGGRAPH Asia 2025 接收。

如今，从游戏、VR到数字孪生，高质量的3D世界构建变得至关重要 。尽管现有的AI模型能够生成令人惊叹的3D整体形状，但它们大多是“一体式”的模型，缺乏内在的部件结构。这种结构上的不透明性，极大地限制了模型在部件编辑、动画制作、材质分配等关键应用中的价值 。

为了破解这一难题，研究者们提出了OmniPart，一个创新的“部件级别”3D生成框架。它的核心思想是将复杂的生成任务解耦为两个协同工作的阶段：“先规划，后生成”，在保证部件之间高度独立（语义解耦）的同时，也确保它们能完美地组合成一个整体。

• 论文题目：
• OmniPart: Part-Aware 3D Generation with Semantic Decoupling and Structural Cohesion
• 项目主页：
• https://omnipart.github.io/
• 代码下载：
• https://github.com/HKU-MMLab/OmniPart
• Huggingface demo:
• https://huggingface.co/spaces/omnipart/OmniPart

效果展示

OmniPart 以简单的2D图像（如图中画框所示）和掩码为输入，首先通过自回归模型规划出三维部件结构，然后同步生成所有高质量、带纹理的独立部件（如透明展柜中所示）。这些部件能够无缝地融合成一个结构协调的完整对象，并提供了显式的部件控制能力，从而极大地增强了后续的编辑、定制化和动画制作效果。

方法介绍：两阶段“规划-生成”策略

OmniPart 的流程优雅而高效，它将复杂的部件生成任务分解为两个核心模块：可控的结构规划（Controllable Structure Planning）和空间感知的部件生成（Spatially-Conditioned Part Synthesis)。

第一阶段：基于2D掩码的结构规划

首先，模型需要规划出3D对象的部件布局 。OmniPart 采用了一个自回归Transformer模型，它会根据输入的2D图像，预测出一系列3D包围盒（Bounding Boxes），每一个包围盒都代表一个部件的空间位置和大小。

这里最巧妙的创新在于，用户可以通过提供简单、灵活的2D部件掩码（Part Masks）来直观地控制部件的分解粒度。这些掩码无需与3D部件一一对应，也无需语义标签，大大降低了控制的难度。例如，用户可以决定机器人的手臂和手掌是一个部件还是两个独立的部件。

为了确保生成的包围盒能完整地覆盖对应部件，团队还引入了一种新颖的“部件覆盖损失”（Part Coverage Loss），鼓励模型生成稍大一些的包围盒，避免部件信息在后续阶段丢失。

第二阶段：空间感知的部件生成

有了部件的“空间蓝图”（包围盒）后，第二阶段的任务就是生成所有高质量的3D部件，并确保它们能无缝拼接。

该模块基于一个强大的预训练3D整体生成器（TRELLIS）进行高效微调。它将所有部件的潜在编码（latent codes）进行并行联合优化，而不是孤立地生成每个部件。这种全局与局部信息结合的去噪过程，确保了最终部件之间的高度一致性。

此外，为了解决部件边界处体素重叠和噪声问题，OmniPart 提出了一种新颖的“体素丢弃机制”。该机制能精确判断每个体素是否真正属于其分配的部件，从而生成清晰的部件接口，让组合后的整体更加完美。

实验效果：质量与效率全面领先

1. 生成质量对比

如下图所示，与 Part123、PartGen 等现有方法相比，OmniPart 生成的3D部件在几何细节、语义准确性和结构一致性上都表现出明显优势。其他方法或只能生成表面分割，或几何质量较差，而 OmniPart 则能生成结构完整、细节丰富且能完美组合的独立部件。

2.生成效率

值得一提的是，OmniPart 的生成效率也实现了大幅提升。相较于需要复杂多视图重建流程的 Part123（约15分钟）和 PartGen（约5分钟）

3.Huggingface demo 展示

丰富的下游应用

得益于其出色的部件可控性，OmniPart 自然地支持一系列激动人心的下游应用：

• 掩码控制生成 (Mask-Controlled Generation)：用户可通过编辑2D掩码，精确指导3D部件的结构生成。
• 多粒度生成 (Multi-Granularity Generation)：通过调整掩码的精细程度，可以生成不同细节层次的部件组合。
• 材质编辑 (Material Editing)：可以对特定部件（如企鹅的帽子、衣服）进行独立的材质或纹理修改。
• 几何处理 (Geometry Processing)：生成的高质量部件有利于后续的网格重构（remeshing）等几何处理，不会在部件连接处产生伪影。

总结

OmniPart 框架通过其创新的“规划-生成”两阶段流程，并引入灵活的2D掩码作为引导，成功地实现了高质量、可控的部件级3D内容生成。它不仅在生成质量和效率上树立了新的标杆，其强大的可编辑性和应用潜力也为游戏开发、动画制作和虚拟现实等领域铺平了道路，推动了可解释、可编辑3D内容的创作边界。

值得一提的是，该团队近期在3D部件领域已经积累了多篇高质量的研究成果，形成了系统性的探索。其中包括专注3D部件分割的工作SAMPart3D(https://yhyang-myron.github.io/SAMPart3D-website/)，该研究旨在实现对任意3D物体进行精细化的部件分割。另一项相关研究HoloPart(https://vast-ai-research.github.io/HoloPart/) 则致力于解决从不完整的表面部件信息（Amodal Segmentation）中生成完整的3D部件几何。从部件的分割 (SAMPart3D)、补全 (HoloPart)到如今的生成 (OmniPart)，这些工作共同构建了一个围绕“部件级3D物体”的AIGC技术矩阵。