网易首页 > 网易号 > 正文 申请入驻

业界首个高质量原生3D组件生成模型来了!来自腾讯混元团队

0
分享至

业界首个高质量原生3D组件生成模型来了!来自腾讯混元3D团队。

现有的3D生成算法通常会生成一体化的3D模型,而下游应用通常需要语义可分解的3D形状,即3D物体的每一个组件需要单独地生成出来。

一般来说,组件式3D生成主要有2个应用场景:

1) 视频游戏制作管线: 在游戏中, 很多资产是要根据语意信息将其绑定不同的游戏逻辑, 比如,汽车模型应该能够被分解为主体和四个可滚动的轮子, 这样轮子是可以单独滚动起来的。所以组件拆分很重要。

与此同时,3D几何生成的下游链路,包括低模拓扑,UV展开等模块。这些模块处理很复杂的几何会变得困难,通过将复杂几何进行拆分简单的小组件,这种分而治之的策略,可以大大降低下游算法的处理难度。

2)3D打印: 这对3D打印行业也是不错的消息, 用户可以把组件一个一个打印出来然后再组装,像搭积木一样。

然而,现有的组件式3D生成方法通常缺乏足够的可控性,生成部件的几何质量不够理想,并且语义连贯性有限。

对此,Hunyuan3D-Part提出了一种用于打造可投入生产,几何质量高,可编辑,且结构合理的组件式3D生成新范式。

下面详细来看。

技术流程介绍

如下图所示,给定一张输入图片,团队首先使用Hunyuan3D的基模型获取整体形状(可以是V2.5或者V3.0)

然后,将整体Mesh传递给部件检测模块P3-SAM,以获得语义特征和部件的边界框(bounding boxes)

最后,由X-Part将整体形状分解为各个部件。



△图1. Hunyuan3D-Part组件拆分整体流程

其技术亮点在于:

1)提出了业界首个原生3D分割模型P3-SAM, 利用大规模高质量3D数据训练,摆脱对2D数据的依赖,大幅提高3D组件分割的精度和鲁棒性。

2)提出了工业级组件生成模型X-Part,重新定义3D组件生成可控性和生成质量的天花板。

技术展开介绍

以下为P3-SAM和X-Part的详细介绍。

原生3D分割模型P3-SAM

团队提出了一种原生3D的分割模型,称为Point-PromptablePartSegmentation,即P3-SAM。

该模型旨在实现对任意复杂三维物体的全自动分割,生成精确掩码并具备极强的鲁棒性。作为开创性的可提示图像分割工作,SAM为实现这一目标提供了可行的方案。

然而,本方法聚焦于自动实现精确的组件分割,并对SAM的体系结构进行了简化。团队未采用SAM中复杂的分割解码器和多类型提示,仅采用单一正点提示进行处理。

具体来说,如图2所示,P3-SAM包含一个特征提取器、三个分割头和一个IoU(交并比)预测头。



△图2. P3-SAM训练流程

PointTransformerV3作为特征提取器,并融合其不同层级的特征作为点级特征。输入的点提示和特征信息会被融合,并传递至分割头,用于预测三个多尺度掩码。同时,IoU预测头用于评估掩码质量。

为实现物体的自动分割,如图3所示,团队利用FPS(最远点采样)生成点提示,配合NMS(非极大值抑制)合并冗余掩码。点级掩码随后被投影到网格面上,从而获得部件分割结果。



△图3. P3-SAM自动分割流程

本方法的另一关键创新在于,完全摒弃2D SAM的影响,依赖于原生3D部件监督,进行原生3D分割模型的训练。

鉴于现有3D部件分割数据集规模普遍较小且缺乏详细部件标注,本方案开发了一套用于美术师创建网格的自动化部件标注流程,并据此生成了一个包含370万个高质量部件级掩码的三维网格数据集。

最终模型在该数据集上展现出优越的可扩展性,并实现了强鲁棒性、精确性及全局一致性的组件级分割。

X-Part:高保真且结构一致的形状分解

X-Part能够实现具有语义意义且结构一致的部件生成。目标是在给定物体点云的情况下,生成高保真、结构一致的部件几何体,同时保证对分解过程的灵活可控性。

如图4所示,首先利用P3-SAM得到组件的包围盒,点云语义特征。 为实现可控性提出了一个基于部件级提示的特征提取模块,利用P3-SAM包围盒作为提示,指示部件的位置和尺寸,而不是直接将分割结果作为输入。

与细粒度、点级分割提示相比,包围盒提供了一种更粗粒度的引导方式,有助于缓解对输入的过拟合。

此外,包围盒还为部分可见部件提供了额外的体积信息,从而有利于生成和可控性。

其次,尽管分割结果可能存在不准确,团队注意到高维点级语义特征并没有受到P3-SAM中聚类算法或预测头所导致的信息压缩影响,因此能够提供更准确的语义表示。

因此,团队将语义特征以精心设计的特征扰动方式引入到其框架中,这有助于实现有意义的部件分解。



△图4. X-Part训练流程

Benchmark定量对比结果

本方案在三个数据集上进行了效果评估:PartObj-Tiny、PartObj-Tiny-WT和PartNetE。

PartObj-Tiny是Objarvse的一个子集,包含8个类别共200个数据样本,并且都带有人工标注的部件分割信息。

PartObj-Tiny-WT是PartObj-Tiny的闭合水密(watertight)版本。

如表1(组件分割模型P3-SAM和现有工作对比结果)、表2(组件生成模型X-Part和竞品对比结果)所示,其分割和生成结果大幅超越现有工作。





可视化效果

团队还对模型的分割及生成效果进行了可视化。

下图为P3-SAM的分割结果:



然后是X-Part的生成结果:



下图为X-Part的生成结果, 左中右依次为输入图、混元3D V2.5生成结果、组件拆分结果。



下图为X-Part的生成结果和开源对比:



下图为X-Part的生成结果和闭源R模型对比:



体验地址及相关技术论文如下。

代码:https://github.com/Tencent-Hunyuan/Hunyuan3D-Part
权重: https://huggingface.co/tencent/Hunyuan3D-Part

P3-SAM论文及项目地址:
https://arxiv.org/abs/2509.06784
https://murcherful.github.io/P3-SAM/

X-Part论文及项目地址:
https://arxiv.org/abs/2509.08643
https://yanxinhao.github.io/Projects/X-Part/

体验入口:
(轻量版)Hugging Face demo:https://huggingface.co/spaces/tencent/Hunyuan3D-Part
(满血版)混元3D Studio:https://3d.hunyuan.tencent.com/studio

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
大战可能马上开始了

大战可能马上开始了

安安说
2026-02-25 10:11:39
宇树机器人去年只卖了5500多台,普通家庭基本没有买的

宇树机器人去年只卖了5500多台,普通家庭基本没有买的

爆角追踪
2026-02-25 10:08:50
俄对外情报局称英国和法国正准备向乌克兰转让核武器,外交部表态

俄对外情报局称英国和法国正准备向乌克兰转让核武器,外交部表态

环球网资讯
2026-02-25 15:31:00
重庆一女子随家人爬山深夜失联,10天后遗体被找到!家属回应“女子曾光脚走在前面,登顶后神情恐惧”

重庆一女子随家人爬山深夜失联,10天后遗体被找到!家属回应“女子曾光脚走在前面,登顶后神情恐惧”

封面新闻
2026-02-25 16:37:09
谁抢走了订单?外企扎堆越南后才明白,“世界工厂”只是一场美梦

谁抢走了订单?外企扎堆越南后才明白,“世界工厂”只是一场美梦

百科密码
2026-02-25 15:17:32
日本某居酒屋贴告示:中国游客不允许进入!日网友:干得漂亮!这样会去更多日本人!

日本某居酒屋贴告示:中国游客不允许进入!日网友:干得漂亮!这样会去更多日本人!

东京新青年
2026-02-25 17:41:04
俄记者曝大瓜:俄军进攻潜力耗尽,英国否定英法用核弹保护乌克兰

俄记者曝大瓜:俄军进攻潜力耗尽,英国否定英法用核弹保护乌克兰

史政先锋
2026-02-25 19:08:44
含泪告别赛场!43岁了,已经是个传奇!

含泪告别赛场!43岁了,已经是个传奇!

德译洋洋
2026-02-25 12:20:33
巴拿马总统慌了,他猛然发现:强吞中国18亿资产,竟是自寻死路

巴拿马总统慌了,他猛然发现:强吞中国18亿资产,竟是自寻死路

东极妙严
2026-02-25 16:40:08
比尔·盖茨道歉!承认与两俄女子有婚外关系,“从未前往爱泼斯坦的私人岛屿”

比尔·盖茨道歉!承认与两俄女子有婚外关系,“从未前往爱泼斯坦的私人岛屿”

上观新闻
2026-02-25 15:37:09
烧光10亿,下载暴跌!腾讯元宝,输惨了!

烧光10亿,下载暴跌!腾讯元宝,输惨了!

功夫财经
2026-02-25 08:57:30
特朗普突然喊停先不打伊朗,他还有另外一场硬仗要打

特朗普突然喊停先不打伊朗,他还有另外一场硬仗要打

梁讯
2026-02-25 15:42:26
春节旅行,看完三亚账单我沉默了:一家三口10天,烧掉一年血汗钱

春节旅行,看完三亚账单我沉默了:一家三口10天,烧掉一年血汗钱

夜深爱杂谈
2026-02-24 22:41:54
郑钦文新教练敲定?与里巴分道扬镳被球迷炮轰:眼露凶光薄情寡义

郑钦文新教练敲定?与里巴分道扬镳被球迷炮轰:眼露凶光薄情寡义

搏击江湖
2026-02-25 19:51:44
TVB“御用烂仔”演员游飚去世,终年57岁,李力持发文悼念

TVB“御用烂仔”演员游飚去世,终年57岁,李力持发文悼念

红星新闻
2026-02-25 11:05:07
一路走好!2026春节才过7天,已有6位大佬离世,最年轻的才40岁

一路走好!2026春节才过7天,已有6位大佬离世,最年轻的才40岁

鲸探所长
2026-02-24 19:34:36
中华人民共和国和德意志联邦共和国联合新闻声明

中华人民共和国和德意志联邦共和国联合新闻声明

新华社
2026-02-25 21:46:25
河南二次通报平顶山事件,这对嚣张夫妻三天就被批捕了

河南二次通报平顶山事件,这对嚣张夫妻三天就被批捕了

林中木白
2026-02-25 09:08:10
74岁陈凯歌在三亚豪宅过年,穿5万元皮鞋戴大金表,脸上有老年斑

74岁陈凯歌在三亚豪宅过年,穿5万元皮鞋戴大金表,脸上有老年斑

离离言几许
2026-02-25 16:07:01
别再尬演白月光了!脸肿皮松,嘟嘴装嫩,是迷倒男人该有的皮囊?

别再尬演白月光了!脸肿皮松,嘟嘴装嫩,是迷倒男人该有的皮囊?

不似少年游
2026-02-24 19:46:25
2026-02-25 23:36:49
量子位 incentive-icons
量子位
追踪人工智能动态
12200文章数 176392关注度
往期回顾 全部

科技要闻

“机器人只跳舞,没什么用”

头条要闻

美官员称6个月内三国政府或被亲美政权取代 中方回应

头条要闻

美官员称6个月内三国政府或被亲美政权取代 中方回应

体育要闻

曝雄鹿计划今夏追小卡 字母哥渴望与其并肩作战

娱乐要闻

黄晓明新恋情!与小22岁美女同游新加坡

财经要闻

上海楼市放大招,地产预期别太大

汽车要闻

750km超长续航 2026款小鹏X9纯电版将于3月2日上市

态度原创

本地
健康
手机
时尚
房产

本地新闻

津南好·四时总相宜

转头就晕的耳石症,能开车上班吗?

手机要闻

vivo万级大电池测试中,多款新机待发布

“复古甜心”穿搭突然大火!春天穿时髦又减龄

房产要闻

海南楼市春节热销地图曝光!三亚、陵水又杀疯了!

无障碍浏览 进入关怀版