网易首页 > 网易号 > 正文 申请入驻

3D生成补上物理短板!首个系统性标注物理3D数据集上线

0
分享至

3D生成又补齐了一块重要拼图——物理属性!

南洋理工大学-商汤联合研究中心S-Lab,及上海人工智能实验室合作提出了PhysXNet,号称首个系统性标注的物理基础3D数据集。

团队表示,3D生成正从纯虚拟走向物理真实,但现有的3D生成方法主要侧重于几何结构与纹理信息,忽略了基于物理属性的建模。

为了填补当前包含物理属性3D数据集的关键空白,PhysXNet应运而生。

该数据集包含超过26K带有丰富注释的3D物体,涵盖五个核心维度:物理尺度、材料、可供性、运动学信息、以及文本描述信息。

此外,团队还提出了PhysXGen,一个面向真实物理世界的3D生成框架,以实现从图像到真实3D资产的生成。

下面具体来看。

当前研究大多忽视了物理属性

近年来,随着3D资产在游戏、机器人技术和具身模拟等领域的广泛应用,其多样性与高质量生成受到了越来越多的关注。

大量研究工作集中在外观与几何结构上:包括高质量的3D数据集(Objaverse、ShapeNet)、高效的3D表示方法以及生成模型等方面。

然而,这些研究大多仅关注结构特征,忽视了现实世界物体所固有的物理属性。

鉴于3D空间中对物理建模、理解与推理的需求不断增长,团队认为,从上游的数据标注流程到下游的生成建模,构建一个完整的基于物理的3D对象建模体系变得尤为重要。

考虑到除了几何和外观等纯粹的结构属性之外,现实世界中的物体还内在地具有丰富的物理和语义特性,包括:物理尺度、材料(密度、杨氏模量、泊松比)、可供性、运动学(运动模式、运动方向、运动范围),以及文本描述(整体、功能、可供性信息)。

通过将这些基础属性与经典物理原理相结合,便可以推导出关键的动态指标,如重力效应、摩擦力、接触区域、运动轨迹与交互关系等。

基于以上分析,团队提出了首个全面的物理属性3D数据集PhysXNet,包含超过26K带有丰富注释的3D物体。

除了在物体层级上的注释外,还对每个零部件进行了物理属性的标注。包括为所有部件提供了可供性排名以及运动学约束的详细参数,包括运动范围、运动方向、子部件和父部件等信息。

除此之外,团队还引入了扩展版本PhysXNet-XL,其中包含超过600万个通过程序化生成并带有物理注释的3D对象。

进一步,团队提出了PhysXGen——一个用于物理3D生成的前馈模型。

鉴于物理属性在空间上与几何结构和外观密切相关,团队利用预训练的3D先验,以生成具备物理属性的3D资产,从而实现高效训练并具备良好的泛化能力。

数据介绍

由于物理属性难以测量且标注极其耗时,导致现存相关数据集数据量难以扩展。

为解决此挑战,团队通过设计一个人在回路的标注流程以实现高效的物理信息采集标注。

通过与相关数据对比,团队提出的数据集是首个包含多种丰富物理属性的3D数据集,并且包括物体整体信息及各部分的物理信息。

标注流程

正如前文所述,在确定标注信息后,团队提出了人在回路的标注框架,分为两个明确的操作阶段:

  • 初步数据采集
  • 运动学参数确定

具体而言,团队利用GPT-4o获取基础信息,为了保证原始数据质量,将由人工审核员对视觉-语言模型(VLM)的输出结果进行检查。

而第二阶段细分为四个子任务:(2.a)接触区域计算、(2.b)平面拟合、(2.c)候选项生成与筛选、(2.d)运动学参数确定。

数据分布

PhysXNet数据集包含超过26K个带物理属性的3D对象,图中展示了对象中部件数量的长尾分布,其中每个对象平均包含约5个组成部件。

此外,图(b)记录了对象的长、宽、高分布情况。

由于PhysXNet涵盖了从相对小型的室内物体到大型室外结构,物理尺寸在对象之间表现出显著差异。

关于PhysXNet中的运动学类型和材料,团队展示了详细的比例组成。

最后,团队还统计了PhysXNet-XL中程序化生成的600万个3D数据的类别,涵盖:a)类内组合及b)跨类别组合。

生成方法介绍

为实现高效的包含物理属性的3D资产生成,团队基于预训练的3D表示空间,提出了PhysXGen,一个新颖且简洁的框架,将物理属性与几何结构和外观相结合。

其方法通过在生成过程中同步融合基础物理属性,同时通过有针对性的微调优化结构分支,达到这一双重目标。

这种联合优化使得生成的3D资产在保持出色几何和外观逼真度的同时,实现了物理上的自洽性。

实验

定性及定量分析

如表所示,团队从两个维度对模型进行了定量评估:1)几何结构与外观质量评估;2)物理属性评估。

需要说明的是,TRELLIS+PhysPre是Baseline,其采用独立结构来预测物理属性。

相比于这种分离式的物理属性预测器,PhysXGen利用了物理属性与预定义3D结构空间之间的相关性,不仅在物理属性生成方面取得了显著提升,同时也增强了外观质量如图所示。

与现有方法对比

为了评估PhysXGen在生成具物理基础的3D资产方面的能力,团队与一个基于GPT的基线流程进行了全面的定性与定量比较。

该基线流程由Trellis、PartField和GPT-4o组成。

在该评估框架下,给定一张图像提示,Trellis首先生成具备完整几何结构和外观纹理的3D网格。

随后,这些资产经由PartField进行细粒度的部件分割。

最后,GPT模型对每个部件赋予材料参数和动态属性等物理属性。

在四个评估维度上:物理尺度、材料、运动学和可供性,PhysXGen分别取得了24%、64%、28%和72%的相对性能提升,表现出显著优势。

一种端到端物理基础3D资产生成范式

本文旨在填补现有3D资产与真实世界之间的差距,提出了一种端到端的物理基础3D资产生成范式,包括首个具物理属性注释的3D数据集(PhysXNet、PhysXNet-XL)以及新颖的物理属性生成器(PhysXGen)。

具体而言,团队构建了一个人机协同的数据标注流程,可将现有3D资源库转化为具备物理信息的数据集。

与此同时,其提出的新型端到端生成框架PhysXGen,能够将物理先验融入以结构为中心的架构中,从而实现稳健的3D生成效果。

通过在PhysXNet上的实验,团队揭示了物理3D生成任务中的关键挑战与未来方向。

团队表示,该数据集将吸引来自嵌入式人工智能、机器人学以及3D视觉等多个研究领域的广泛关注。

本论文第一作者曹子昂,南洋理工大学博士二年级,研究方向是计算机视觉、3D AIGC和具身智能。主要合作者为来自南洋理工大学的陈昭熹和来自上海人工智能实验室的潘亮,通讯作者为南洋理工大学刘子纬教授。

论文链接:
https://arxiv.org/abs/2507.12465
项目主页:
hthttps://physx-3d.github.io/
GitHub代码:
https://github.com/ziangcao0312/PhysX-3D

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
红极一时的“珐琅锅”,为啥跌下神坛?过来人说出了大实话!

红极一时的“珐琅锅”,为啥跌下神坛?过来人说出了大实话!

一枚大装家
2026-11-20 10:28:54
很坏的消息:中国2亿灵活就业者们面临的很严峻问题,已经到来

很坏的消息:中国2亿灵活就业者们面临的很严峻问题,已经到来

快乐彼岸
2026-11-20 11:43:39
最高2001元!苹果官网突然加大优惠:11月27日开始,新iPhone促销

最高2001元!苹果官网突然加大优惠:11月27日开始,新iPhone促销

搞机小帝
2026-11-20 13:56:05
“我就这么该死吗”,高颜值母亲情绪崩溃,网友:允许孩子不爱你!

“我就这么该死吗”,高颜值母亲情绪崩溃,网友:允许孩子不爱你!

熙熙说教
2026-11-08 17:03:05
2027款丰田皇冠大变样!一改经典轿车风格,老车主还认得出吗?

2027款丰田皇冠大变样!一改经典轿车风格,老车主还认得出吗?

娱乐圈的笔娱君
2026-11-20 06:18:19
在长沙,很多公司都撑不住了

在长沙,很多公司都撑不住了

一条要飞跃的咸鱼
2026-11-20 09:32:42
黄仁勋妻子当年是系花,他17岁追她时不拼颜值不砸钱,只甩一句:你考试我全包,门门保优

黄仁勋妻子当年是系花,他17岁追她时不拼颜值不砸钱,只甩一句:你考试我全包,门门保优

In风尚
2026-11-20 06:04:49
苹果做了,其他家都在研究:小米无边四曲屏曝光

苹果做了,其他家都在研究:小米无边四曲屏曝光

字节漫游指南
2026-11-19 17:24:37
西部第三只是假象!火箭五连硬仗才是试金石

西部第三只是假象!火箭五连硬仗才是试金石

观星娱记
2026-11-20 08:57:06
汪汪队干坏事!狗子一泡尿呲坏主人电脑 当场崩溃

汪汪队干坏事!狗子一泡尿呲坏主人电脑 当场崩溃

游民星空
2026-11-20 19:04:14
美国没料到,先等来的不是乌投降,而是乌以反将一军,王牌被废?

美国没料到,先等来的不是乌投降,而是乌以反将一军,王牌被废?

麓谷隐士
2026-11-20 06:39:31
已有近2万中国科学家归国,不再为美国效力,特朗普:我们要善待像黄仁勋这样的天才

已有近2万中国科学家归国,不再为美国效力,特朗普:我们要善待像黄仁勋这样的天才

王新喜
2026-11-20 09:23:29
没想到,APEC峰会开始仅1天,马斯克小儿子因一举动,再次火出圈

没想到,APEC峰会开始仅1天,马斯克小儿子因一举动,再次火出圈

黄色的泥土
2026-11-20 09:11:06
苦战五局惜败!国乒小将憾负日本削球手,女单八强再失一席

苦战五局惜败!国乒小将憾负日本削球手,女单八强再失一席

小小小白看世界
2026-11-20 15:30:54
同行3人进咖啡店,2人正常消费,1人未点单被劝离!店方:并非公益场所!市监局:与星巴克不同,涉嫌强制最低消费

同行3人进咖啡店,2人正常消费,1人未点单被劝离!店方:并非公益场所!市监局:与星巴克不同,涉嫌强制最低消费

申消费
2026-11-20 11:22:12
陆家嘴集团规划总监、规划与建筑设计管理部总经理陶建强:长期主义,释放城市长期价值

陆家嘴集团规划总监、规划与建筑设计管理部总经理陶建强:长期主义,释放城市长期价值

商业周刊中文版
2026-11-20 00:53:10
普京终于摊牌:俄乌战争最大搅局者不是美国,而是这个跟俄罗斯斗了200年的老冤家

普京终于摊牌:俄乌战争最大搅局者不是美国,而是这个跟俄罗斯斗了200年的老冤家

z千年历史老号
2026-09-23 17:17:11
海南省人大常委会原副主任肖杰被公诉,曾被批利用担任“一把手”的职权大肆插手工程项目,搞权钱交易

海南省人大常委会原副主任肖杰被公诉,曾被批利用担任“一把手”的职权大肆插手工程项目,搞权钱交易

大风新闻
2026-11-11 10:40:03
大鱼来了!广东队有望签下加强版奎因,或被陈老板重金抢下?

大鱼来了!广东队有望签下加强版奎因,或被陈老板重金抢下?

绯雨儿
2026-11-20 13:00:07
2026.11.20盘中:人们今天都绝望了

2026.11.20盘中:人们今天都绝望了

探索性思维
2026-11-20 12:44:50
2026-11-20 19:47:00
量子位 incentive-icons
量子位
追踪人工智能动态
13703文章数 176601关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

父亲看望在外读书女儿住招待所 遭同屋两男子半夜劫杀

头条要闻

父亲看望在外读书女儿住招待所 遭同屋两男子半夜劫杀

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

时尚
房产
亲子
健康
艺术

今年冬天不穿大衣了?这件“非凡外套”才是真顶流!

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

亲子要闻

奶奶给大孙买的草莓真甜,姥姥给的高粱米做一锅,焦黏喷香都爱吃

医生眼里"很伤腰"的椅子,很多人天天坐

艺术要闻

女子遭司机性侵,主动提出不戴套后,最恶心的一幕发生了……

无障碍浏览 进入关怀版