3D生成补上物理短板！首个系统性标注物理3D数据集上线

3D生成又补齐了一块重要拼图——物理属性！

南洋理工大学-商汤联合研究中心S-Lab，及上海人工智能实验室合作提出了PhysXNet，号称首个系统性标注的物理基础3D数据集。

团队表示，3D生成正从纯虚拟走向物理真实，但现有的3D生成方法主要侧重于几何结构与纹理信息，忽略了基于物理属性的建模。

为了填补当前包含物理属性3D数据集的关键空白，PhysXNet应运而生。

该数据集包含超过26K带有丰富注释的3D物体，涵盖五个核心维度：物理尺度、材料、可供性、运动学信息、以及文本描述信息。

此外，团队还提出了PhysXGen，一个面向真实物理世界的3D生成框架，以实现从图像到真实3D资产的生成。

下面具体来看。

当前研究大多忽视了物理属性

近年来，随着3D资产在游戏、机器人技术和具身模拟等领域的广泛应用，其多样性与高质量生成受到了越来越多的关注。

大量研究工作集中在外观与几何结构上：包括高质量的3D数据集（Objaverse、ShapeNet）、高效的3D表示方法以及生成模型等方面。

然而，这些研究大多仅关注结构特征，忽视了现实世界物体所固有的物理属性。

鉴于3D空间中对物理建模、理解与推理的需求不断增长，团队认为，从上游的数据标注流程到下游的生成建模，构建一个完整的基于物理的3D对象建模体系变得尤为重要。

考虑到除了几何和外观等纯粹的结构属性之外，现实世界中的物体还内在地具有丰富的物理和语义特性，包括：物理尺度、材料（密度、杨氏模量、泊松比）、可供性、运动学（运动模式、运动方向、运动范围），以及文本描述（整体、功能、可供性信息）。

通过将这些基础属性与经典物理原理相结合，便可以推导出关键的动态指标，如重力效应、摩擦力、接触区域、运动轨迹与交互关系等。

基于以上分析，团队提出了首个全面的物理属性3D数据集PhysXNet，包含超过26K带有丰富注释的3D物体。

除了在物体层级上的注释外，还对每个零部件进行了物理属性的标注。包括为所有部件提供了可供性排名以及运动学约束的详细参数，包括运动范围、运动方向、子部件和父部件等信息。

除此之外，团队还引入了扩展版本PhysXNet-XL，其中包含超过600万个通过程序化生成并带有物理注释的3D对象。

进一步，团队提出了PhysXGen——一个用于物理3D生成的前馈模型。

鉴于物理属性在空间上与几何结构和外观密切相关，团队利用预训练的3D先验，以生成具备物理属性的3D资产，从而实现高效训练并具备良好的泛化能力。

数据介绍

由于物理属性难以测量且标注极其耗时，导致现存相关数据集数据量难以扩展。

为解决此挑战，团队通过设计一个人在回路的标注流程以实现高效的物理信息采集标注。

通过与相关数据对比，团队提出的数据集是首个包含多种丰富物理属性的3D数据集，并且包括物体整体信息及各部分的物理信息。

标注流程

正如前文所述，在确定标注信息后，团队提出了人在回路的标注框架，分为两个明确的操作阶段：

• 初步数据采集
• 运动学参数确定

具体而言，团队利用GPT-4o获取基础信息，为了保证原始数据质量，将由人工审核员对视觉-语言模型（VLM）的输出结果进行检查。

而第二阶段细分为四个子任务：（2.a）接触区域计算、（2.b）平面拟合、（2.c）候选项生成与筛选、（2.d）运动学参数确定。

数据分布

PhysXNet数据集包含超过26K个带物理属性的3D对象，图中展示了对象中部件数量的长尾分布，其中每个对象平均包含约5个组成部件。

此外，图（b）记录了对象的长、宽、高分布情况。

由于PhysXNet涵盖了从相对小型的室内物体到大型室外结构，物理尺寸在对象之间表现出显著差异。

关于PhysXNet中的运动学类型和材料，团队展示了详细的比例组成。

最后，团队还统计了PhysXNet-XL中程序化生成的600万个3D数据的类别，涵盖：a）类内组合及b）跨类别组合。

生成方法介绍

为实现高效的包含物理属性的3D资产生成，团队基于预训练的3D表示空间，提出了PhysXGen，一个新颖且简洁的框架，将物理属性与几何结构和外观相结合。

其方法通过在生成过程中同步融合基础物理属性，同时通过有针对性的微调优化结构分支，达到这一双重目标。

这种联合优化使得生成的3D资产在保持出色几何和外观逼真度的同时，实现了物理上的自洽性。

实验

定性及定量分析

如表所示，团队从两个维度对模型进行了定量评估：1）几何结构与外观质量评估；2）物理属性评估。

需要说明的是，TRELLIS+PhysPre是Baseline，其采用独立结构来预测物理属性。

相比于这种分离式的物理属性预测器，PhysXGen利用了物理属性与预定义3D结构空间之间的相关性，不仅在物理属性生成方面取得了显著提升，同时也增强了外观质量如图所示。

与现有方法对比

为了评估PhysXGen在生成具物理基础的3D资产方面的能力，团队与一个基于GPT的基线流程进行了全面的定性与定量比较。

该基线流程由Trellis、PartField和GPT-4o组成。

在该评估框架下，给定一张图像提示，Trellis首先生成具备完整几何结构和外观纹理的3D网格。

随后，这些资产经由PartField进行细粒度的部件分割。

最后，GPT模型对每个部件赋予材料参数和动态属性等物理属性。

在四个评估维度上：物理尺度、材料、运动学和可供性，PhysXGen分别取得了24%、64%、28%和72%的相对性能提升，表现出显著优势。

一种端到端物理基础3D资产生成范式

本文旨在填补现有3D资产与真实世界之间的差距，提出了一种端到端的物理基础3D资产生成范式，包括首个具物理属性注释的3D数据集（PhysXNet、PhysXNet-XL）以及新颖的物理属性生成器（PhysXGen）。

具体而言，团队构建了一个人机协同的数据标注流程，可将现有3D资源库转化为具备物理信息的数据集。

与此同时，其提出的新型端到端生成框架PhysXGen，能够将物理先验融入以结构为中心的架构中，从而实现稳健的3D生成效果。

通过在PhysXNet上的实验，团队揭示了物理3D生成任务中的关键挑战与未来方向。

团队表示，该数据集将吸引来自嵌入式人工智能、机器人学以及3D视觉等多个研究领域的广泛关注。

本论文第一作者曹子昂，南洋理工大学博士二年级，研究方向是计算机视觉、3D AIGC和具身智能。主要合作者为来自南洋理工大学的陈昭熹和来自上海人工智能实验室的潘亮，通讯作者为南洋理工大学刘子纬教授。

论文链接：
https://arxiv.org/abs/2507.12465
项目主页：
hthttps://physx-3d.github.io/
GitHub代码：
https://github.com/ziangcao0312/PhysX-3D