网易首页 > 网易号 > 正文 申请入驻

业界首个高质量原生3D组件生成模型来了!来自腾讯混元团队

0
分享至

业界首个高质量原生3D组件生成模型来了!来自腾讯混元3D团队。

现有的3D生成算法通常会生成一体化的3D模型,而下游应用通常需要语义可分解的3D形状,即3D物体的每一个组件需要单独地生成出来。

一般来说,组件式3D生成主要有2个应用场景:

1) 视频游戏制作管线: 在游戏中, 很多资产是要根据语意信息将其绑定不同的游戏逻辑, 比如,汽车模型应该能够被分解为主体和四个可滚动的轮子, 这样轮子是可以单独滚动起来的。所以组件拆分很重要。

与此同时,3D几何生成的下游链路,包括低模拓扑,UV展开等模块。这些模块处理很复杂的几何会变得困难,通过将复杂几何进行拆分简单的小组件,这种分而治之的策略,可以大大降低下游算法的处理难度。

2)3D打印: 这对3D打印行业也是不错的消息, 用户可以把组件一个一个打印出来然后再组装,像搭积木一样。

然而,现有的组件式3D生成方法通常缺乏足够的可控性,生成部件的几何质量不够理想,并且语义连贯性有限。

对此,Hunyuan3D-Part提出了一种用于打造可投入生产,几何质量高,可编辑,且结构合理的组件式3D生成新范式。

下面详细来看。

技术流程介绍

如下图所示,给定一张输入图片,团队首先使用Hunyuan3D的基模型获取整体形状(可以是V2.5或者V3.0)

然后,将整体Mesh传递给部件检测模块P3-SAM,以获得语义特征和部件的边界框(bounding boxes)

最后,由X-Part将整体形状分解为各个部件。



△图1. Hunyuan3D-Part组件拆分整体流程

其技术亮点在于:

1)提出了业界首个原生3D分割模型P3-SAM, 利用大规模高质量3D数据训练,摆脱对2D数据的依赖,大幅提高3D组件分割的精度和鲁棒性。

2)提出了工业级组件生成模型X-Part,重新定义3D组件生成可控性和生成质量的天花板。

技术展开介绍

以下为P3-SAM和X-Part的详细介绍。

原生3D分割模型P3-SAM

团队提出了一种原生3D的分割模型,称为Point-PromptablePartSegmentation,即P3-SAM。

该模型旨在实现对任意复杂三维物体的全自动分割,生成精确掩码并具备极强的鲁棒性。作为开创性的可提示图像分割工作,SAM为实现这一目标提供了可行的方案。

然而,本方法聚焦于自动实现精确的组件分割,并对SAM的体系结构进行了简化。团队未采用SAM中复杂的分割解码器和多类型提示,仅采用单一正点提示进行处理。

具体来说,如图2所示,P3-SAM包含一个特征提取器、三个分割头和一个IoU(交并比)预测头。



△图2. P3-SAM训练流程

PointTransformerV3作为特征提取器,并融合其不同层级的特征作为点级特征。输入的点提示和特征信息会被融合,并传递至分割头,用于预测三个多尺度掩码。同时,IoU预测头用于评估掩码质量。

为实现物体的自动分割,如图3所示,团队利用FPS(最远点采样)生成点提示,配合NMS(非极大值抑制)合并冗余掩码。点级掩码随后被投影到网格面上,从而获得部件分割结果。



△图3. P3-SAM自动分割流程

本方法的另一关键创新在于,完全摒弃2D SAM的影响,依赖于原生3D部件监督,进行原生3D分割模型的训练。

鉴于现有3D部件分割数据集规模普遍较小且缺乏详细部件标注,本方案开发了一套用于美术师创建网格的自动化部件标注流程,并据此生成了一个包含370万个高质量部件级掩码的三维网格数据集。

最终模型在该数据集上展现出优越的可扩展性,并实现了强鲁棒性、精确性及全局一致性的组件级分割。

X-Part:高保真且结构一致的形状分解

X-Part能够实现具有语义意义且结构一致的部件生成。目标是在给定物体点云的情况下,生成高保真、结构一致的部件几何体,同时保证对分解过程的灵活可控性。

如图4所示,首先利用P3-SAM得到组件的包围盒,点云语义特征。 为实现可控性提出了一个基于部件级提示的特征提取模块,利用P3-SAM包围盒作为提示,指示部件的位置和尺寸,而不是直接将分割结果作为输入。

与细粒度、点级分割提示相比,包围盒提供了一种更粗粒度的引导方式,有助于缓解对输入的过拟合。

此外,包围盒还为部分可见部件提供了额外的体积信息,从而有利于生成和可控性。

其次,尽管分割结果可能存在不准确,团队注意到高维点级语义特征并没有受到P3-SAM中聚类算法或预测头所导致的信息压缩影响,因此能够提供更准确的语义表示。

因此,团队将语义特征以精心设计的特征扰动方式引入到其框架中,这有助于实现有意义的部件分解。



△图4. X-Part训练流程

Benchmark定量对比结果

本方案在三个数据集上进行了效果评估:PartObj-Tiny、PartObj-Tiny-WT和PartNetE。

PartObj-Tiny是Objarvse的一个子集,包含8个类别共200个数据样本,并且都带有人工标注的部件分割信息。

PartObj-Tiny-WT是PartObj-Tiny的闭合水密(watertight)版本。

如表1(组件分割模型P3-SAM和现有工作对比结果)、表2(组件生成模型X-Part和竞品对比结果)所示,其分割和生成结果大幅超越现有工作。





可视化效果

团队还对模型的分割及生成效果进行了可视化。

下图为P3-SAM的分割结果:



然后是X-Part的生成结果:



下图为X-Part的生成结果, 左中右依次为输入图、混元3D V2.5生成结果、组件拆分结果。



下图为X-Part的生成结果和开源对比:



下图为X-Part的生成结果和闭源R模型对比:



体验地址及相关技术论文如下。

代码:https://github.com/Tencent-Hunyuan/Hunyuan3D-Part
权重: https://huggingface.co/tencent/Hunyuan3D-Part

P3-SAM论文及项目地址:
https://arxiv.org/abs/2509.06784
https://murcherful.github.io/P3-SAM/

X-Part论文及项目地址:
https://arxiv.org/abs/2509.08643
https://yanxinhao.github.io/Projects/X-Part/

体验入口:
(轻量版)Hugging Face demo:https://huggingface.co/spaces/tencent/Hunyuan3D-Part
(满血版)混元3D Studio:https://3d.hunyuan.tencent.com/studio

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
火箭小将找到信心!登场17分钟高效砍12+3 没有失误彰显进步

火箭小将找到信心!登场17分钟高效砍12+3 没有失误彰显进步

惊奇侃球
2025-11-02 11:00:05
皇马4-0造惨案!各项6连胜+7分领跑西甲 姆巴佩双响 维尼修斯失点

皇马4-0造惨案!各项6连胜+7分领跑西甲 姆巴佩双响 维尼修斯失点

侃球熊弟
2025-11-02 05:37:36
机关算尽太聪明!“千亿儿媳”如今彻底成笑话,恶果已经开始显现

机关算尽太聪明!“千亿儿媳”如今彻底成笑话,恶果已经开始显现

二妹扯娱
2025-10-19 10:24:02
加州大学博士警告:一种新型精神病正在将孩子们推向深渊…

加州大学博士警告:一种新型精神病正在将孩子们推向深渊…

阅读第一
2025-11-02 08:33:11
日本知名声优因嫁给印度男子遭疯狂网暴!首次公开丈夫身份,直言在婆家每天吃咖喱…

日本知名声优因嫁给印度男子遭疯狂网暴!首次公开丈夫身份,直言在婆家每天吃咖喱…

东京新青年
2025-11-01 18:05:46
婆婆总把我女儿奶粉送小姑子,我没吱声,悄悄将奶粉换成名牌

婆婆总把我女儿奶粉送小姑子,我没吱声,悄悄将奶粉换成名牌

船长与船1
2025-11-02 08:09:54
南方省份一小区的三网宽带光箱,打开后惊呆了…

南方省份一小区的三网宽带光箱,打开后惊呆了…

通信老柳
2025-10-31 07:58:00
从一品大臣沦落到丧家之犬,盛宣怀仅用了15天

从一品大臣沦落到丧家之犬,盛宣怀仅用了15天

尚曦读史
2025-11-01 22:20:08
刘维伟心疼杨瀚森被网暴;开拓者满意小杨发挥,培养计划是长期的

刘维伟心疼杨瀚森被网暴;开拓者满意小杨发挥,培养计划是长期的

林小湜体育频道
2025-11-02 03:32:49
广东降温后,竟是全球17级风王。

广东降温后,竟是全球17级风王。

天气观察站
2025-11-02 05:39:00
马筱梅首谈大S为张兰正名,派亲妈送俩娃到成都,撕碎S家“体面”

马筱梅首谈大S为张兰正名,派亲妈送俩娃到成都,撕碎S家“体面”

疯说时尚
2025-11-02 11:51:42
戴旭:中国从来没有单独彻底战胜过日本,未来一战永绝后患

戴旭:中国从来没有单独彻底战胜过日本,未来一战永绝后患

boss外传
2025-11-01 12:00:03
中国选手赵鸿刚在世界职业扇耳光大赛中被对手KO倒地

中国选手赵鸿刚在世界职业扇耳光大赛中被对手KO倒地

大眼瞄世界
2025-11-02 00:00:48
跌下神坛的贵族水果,从百元一斤跌到几块钱,人们反而不愿意买了

跌下神坛的贵族水果,从百元一斤跌到几块钱,人们反而不愿意买了

妙招酷
2025-10-29 00:22:47
知名女星官宣结婚已怀孕

知名女星官宣结婚已怀孕

鲁中晨报
2025-11-01 10:35:36
全红婵放弃全运单人角逐系顶层决策,并不仅仅是保护身体那么简单

全红婵放弃全运单人角逐系顶层决策,并不仅仅是保护身体那么简单

杨华评论
2025-11-01 19:30:01
再看《康熙王朝》:才发现为何容妃刷27年马桶,康熙始终不闻不问

再看《康熙王朝》:才发现为何容妃刷27年马桶,康熙始终不闻不问

草莓解说体育
2025-11-01 01:24:54
周末信息如何影响市场?明天是红色星期一?还是黑色星期一?

周末信息如何影响市场?明天是红色星期一?还是黑色星期一?

春江财富
2025-11-02 09:19:09
看文强回忆录才知道陈诚不救吴石的两个原因:他的处境有多危险?

看文强回忆录才知道陈诚不救吴石的两个原因:他的处境有多危险?

半壶老酒半支烟
2025-11-01 18:59:07
辽宁省委书记:推动举办东北城市联赛,为足球从业者搭建平台

辽宁省委书记:推动举办东北城市联赛,为足球从业者搭建平台

懂球帝
2025-11-01 17:28:19
2025-11-02 12:47:00
量子位 incentive-icons
量子位
追踪人工智能动态
11615文章数 176320关注度
往期回顾 全部

科技要闻

10月零跑突破7万辆,小鹏、蔚来超4万辆

头条要闻

万斯一句话让印度裔美国人炸锅 遭铺天盖地批评后回应

头条要闻

万斯一句话让印度裔美国人炸锅 遭铺天盖地批评后回应

体育要闻

李大林获2025北马国内男子组冠军

娱乐要闻

离世的他曾是刘德华张学友御用班底

财经要闻

段永平捐了1500万元茅台股票!本人回应

汽车要闻

神龙汽车推出“发动机终身质保”政策

态度原创

游戏
家居
教育
手机
时尚

《寂静岭2RE》DLC传闻再起!Steam后台暗藏玄机

家居要闻

吸睛艺术 富有传奇色彩

教育要闻

粉丝采访录(二):普通劳动者怎样培养子女

手机要闻

销量同比增长100%,iQOO Neo11热卖背后

松弛感穿搭太适合秋冬了,减龄又好看

无障碍浏览 进入关怀版