网易首页 > 网易号 > 正文 申请入驻

业界首个高质量原生3D组件生成模型来了!来自腾讯混元团队

0
分享至

业界首个高质量原生3D组件生成模型来了!来自腾讯混元3D团队。

现有的3D生成算法通常会生成一体化的3D模型,而下游应用通常需要语义可分解的3D形状,即3D物体的每一个组件需要单独地生成出来。

一般来说,组件式3D生成主要有2个应用场景:

1) 视频游戏制作管线: 在游戏中, 很多资产是要根据语意信息将其绑定不同的游戏逻辑, 比如,汽车模型应该能够被分解为主体和四个可滚动的轮子, 这样轮子是可以单独滚动起来的。所以组件拆分很重要。

与此同时,3D几何生成的下游链路,包括低模拓扑,UV展开等模块。这些模块处理很复杂的几何会变得困难,通过将复杂几何进行拆分简单的小组件,这种分而治之的策略,可以大大降低下游算法的处理难度。

2)3D打印: 这对3D打印行业也是不错的消息, 用户可以把组件一个一个打印出来然后再组装,像搭积木一样。

然而,现有的组件式3D生成方法通常缺乏足够的可控性,生成部件的几何质量不够理想,并且语义连贯性有限。

对此,Hunyuan3D-Part提出了一种用于打造可投入生产,几何质量高,可编辑,且结构合理的组件式3D生成新范式。

下面详细来看。

技术流程介绍

如下图所示,给定一张输入图片,团队首先使用Hunyuan3D的基模型获取整体形状(可以是V2.5或者V3.0)

然后,将整体Mesh传递给部件检测模块P3-SAM,以获得语义特征和部件的边界框(bounding boxes)

最后,由X-Part将整体形状分解为各个部件。



△图1. Hunyuan3D-Part组件拆分整体流程

其技术亮点在于:

1)提出了业界首个原生3D分割模型P3-SAM, 利用大规模高质量3D数据训练,摆脱对2D数据的依赖,大幅提高3D组件分割的精度和鲁棒性。

2)提出了工业级组件生成模型X-Part,重新定义3D组件生成可控性和生成质量的天花板。

技术展开介绍

以下为P3-SAM和X-Part的详细介绍。

原生3D分割模型P3-SAM

团队提出了一种原生3D的分割模型,称为Point-PromptablePartSegmentation,即P3-SAM。

该模型旨在实现对任意复杂三维物体的全自动分割,生成精确掩码并具备极强的鲁棒性。作为开创性的可提示图像分割工作,SAM为实现这一目标提供了可行的方案。

然而,本方法聚焦于自动实现精确的组件分割,并对SAM的体系结构进行了简化。团队未采用SAM中复杂的分割解码器和多类型提示,仅采用单一正点提示进行处理。

具体来说,如图2所示,P3-SAM包含一个特征提取器、三个分割头和一个IoU(交并比)预测头。



△图2. P3-SAM训练流程

PointTransformerV3作为特征提取器,并融合其不同层级的特征作为点级特征。输入的点提示和特征信息会被融合,并传递至分割头,用于预测三个多尺度掩码。同时,IoU预测头用于评估掩码质量。

为实现物体的自动分割,如图3所示,团队利用FPS(最远点采样)生成点提示,配合NMS(非极大值抑制)合并冗余掩码。点级掩码随后被投影到网格面上,从而获得部件分割结果。



△图3. P3-SAM自动分割流程

本方法的另一关键创新在于,完全摒弃2D SAM的影响,依赖于原生3D部件监督,进行原生3D分割模型的训练。

鉴于现有3D部件分割数据集规模普遍较小且缺乏详细部件标注,本方案开发了一套用于美术师创建网格的自动化部件标注流程,并据此生成了一个包含370万个高质量部件级掩码的三维网格数据集。

最终模型在该数据集上展现出优越的可扩展性,并实现了强鲁棒性、精确性及全局一致性的组件级分割。

X-Part:高保真且结构一致的形状分解

X-Part能够实现具有语义意义且结构一致的部件生成。目标是在给定物体点云的情况下,生成高保真、结构一致的部件几何体,同时保证对分解过程的灵活可控性。

如图4所示,首先利用P3-SAM得到组件的包围盒,点云语义特征。 为实现可控性提出了一个基于部件级提示的特征提取模块,利用P3-SAM包围盒作为提示,指示部件的位置和尺寸,而不是直接将分割结果作为输入。

与细粒度、点级分割提示相比,包围盒提供了一种更粗粒度的引导方式,有助于缓解对输入的过拟合。

此外,包围盒还为部分可见部件提供了额外的体积信息,从而有利于生成和可控性。

其次,尽管分割结果可能存在不准确,团队注意到高维点级语义特征并没有受到P3-SAM中聚类算法或预测头所导致的信息压缩影响,因此能够提供更准确的语义表示。

因此,团队将语义特征以精心设计的特征扰动方式引入到其框架中,这有助于实现有意义的部件分解。



△图4. X-Part训练流程

Benchmark定量对比结果

本方案在三个数据集上进行了效果评估:PartObj-Tiny、PartObj-Tiny-WT和PartNetE。

PartObj-Tiny是Objarvse的一个子集,包含8个类别共200个数据样本,并且都带有人工标注的部件分割信息。

PartObj-Tiny-WT是PartObj-Tiny的闭合水密(watertight)版本。

如表1(组件分割模型P3-SAM和现有工作对比结果)、表2(组件生成模型X-Part和竞品对比结果)所示,其分割和生成结果大幅超越现有工作。





可视化效果

团队还对模型的分割及生成效果进行了可视化。

下图为P3-SAM的分割结果:



然后是X-Part的生成结果:



下图为X-Part的生成结果, 左中右依次为输入图、混元3D V2.5生成结果、组件拆分结果。



下图为X-Part的生成结果和开源对比:



下图为X-Part的生成结果和闭源R模型对比:



体验地址及相关技术论文如下。

代码:https://github.com/Tencent-Hunyuan/Hunyuan3D-Part
权重: https://huggingface.co/tencent/Hunyuan3D-Part

P3-SAM论文及项目地址:
https://arxiv.org/abs/2509.06784
https://murcherful.github.io/P3-SAM/

X-Part论文及项目地址:
https://arxiv.org/abs/2509.08643
https://yanxinhao.github.io/Projects/X-Part/

体验入口:
(轻量版)Hugging Face demo:https://huggingface.co/spaces/tencent/Hunyuan3D-Part
(满血版)混元3D Studio:https://3d.hunyuan.tencent.com/studio

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
歌手孙悦现状:低调定居上海,和富商老公很甜蜜,儿子为她争光

歌手孙悦现状:低调定居上海,和富商老公很甜蜜,儿子为她争光

兴史兴谈
2025-12-24 13:06:43
人活着就两件事:一是让肉体健康,二是让灵魂自在,身心相和……

人活着就两件事:一是让肉体健康,二是让灵魂自在,身心相和……

木言观
2025-12-25 12:22:50
已经掉了500多颗了,“星链”卫星坠落已成常态

已经掉了500多颗了,“星链”卫星坠落已成常态

新民晚报
2025-12-23 13:02:35
深夜大瓜!曝阚清子生下女儿没保住,没有膀胱和肛门,产前状态差

深夜大瓜!曝阚清子生下女儿没保住,没有膀胱和肛门,产前状态差

阿纂看事
2025-12-24 09:19:51
熊皇选择曝光,四方受益!英超三豪门争夺,皇马或将成最大赢家

熊皇选择曝光,四方受益!英超三豪门争夺,皇马或将成最大赢家

万花筒体育球球
2025-12-24 23:32:56
憋尿看完阿凡达3,我连连感慨:留给好莱坞的时间,真的不多了

憋尿看完阿凡达3,我连连感慨:留给好莱坞的时间,真的不多了

糊咖娱乐
2025-12-22 17:14:59
新进展!南博前职工再曝猛料 买“赝品”神秘人扒出 倒卖流程曝光

新进展!南博前职工再曝猛料 买“赝品”神秘人扒出 倒卖流程曝光

社会日日鲜
2025-12-24 06:20:47
最高检披露:曾盘踞东莞多年的涉黑组织覆灭,头目获无期徒刑

最高检披露:曾盘踞东莞多年的涉黑组织覆灭,头目获无期徒刑

南方都市报
2025-12-25 10:50:06
你可以命令千军万马,却难以命令经济繁荣

你可以命令千军万马,却难以命令经济繁荣

民间胡扯老哥
2025-12-23 06:39:20
倪妮太豪!在北京家里过圣诞,意外曝光内景,难怪她看不上冯绍峰

倪妮太豪!在北京家里过圣诞,意外曝光内景,难怪她看不上冯绍峰

情感大头说说
2025-12-25 11:03:06
孙中山预言,中国若是迁都到这3座城,则有望称霸亚洲,是哪三座

孙中山预言,中国若是迁都到这3座城,则有望称霸亚洲,是哪三座

抽象派大师
2025-12-23 01:27:51
马斯克没说错:拆开GDP的“包装”,中国的真实实力是美国的2-3倍

马斯克没说错:拆开GDP的“包装”,中国的真实实力是美国的2-3倍

远方风林
2025-12-24 23:30:23
外蒙为何反华?如今宁可饿死也不向东大靠拢?

外蒙为何反华?如今宁可饿死也不向东大靠拢?

扶苏聊历史
2025-12-24 10:09:43
不只是俄罗斯傻眼了,就连我们都傻眼了

不只是俄罗斯傻眼了,就连我们都傻眼了

南权先生
2025-12-24 16:55:53
傅艺伟守着何晴,其实根本不是什么报恩。她守的,是她自己的命。

傅艺伟守着何晴,其实根本不是什么报恩。她守的,是她自己的命。

小光侃娱乐
2025-12-24 10:55:03
浓眉调侃:弗拉格居然砍33+9+9?他还是不够厉害,都没得三双

浓眉调侃:弗拉格居然砍33+9+9?他还是不够厉害,都没得三双

懂球帝
2025-12-25 11:59:03
三刷电影《长津湖》:它在提醒我们平安从何而来

三刷电影《长津湖》:它在提醒我们平安从何而来

白羽居士
2025-12-24 19:10:15
特朗普通告,全面战争或开打?中俄统一战线,美国在联合国遭围攻

特朗普通告,全面战争或开打?中俄统一战线,美国在联合国遭围攻

现代小青青慕慕
2025-12-25 14:18:49
浙江稠州炒掉三进宫主教练丁伟,也无力逆转球队的大厦将倾

浙江稠州炒掉三进宫主教练丁伟,也无力逆转球队的大厦将倾

李广专业体育评论
2025-12-25 14:24:41
没想到,46条中日航线取消后,各方势力纷纷现身

没想到,46条中日航线取消后,各方势力纷纷现身

有牙的兔纸
2025-12-25 01:46:25
2025-12-25 15:31:00
量子位 incentive-icons
量子位
追踪人工智能动态
11914文章数 176342关注度
往期回顾 全部

科技要闻

屠龙少年被"招安"!英伟达平安夜豪掷200亿

头条要闻

朱孝天举报阿信所属公司:勾结黄牛炒票逃税、假唱

头条要闻

朱孝天举报阿信所属公司:勾结黄牛炒票逃税、假唱

体育要闻

单赛季11冠,羽坛“安洗莹时代”真的来了

娱乐要闻

金莎小19岁男友求婚成功!两人雪地拥吻

财经要闻

美国未来18个月不对中国芯片加额外关税

汽车要闻

预售31.3万元起 全新奥迪Q5L将于1月内上市

态度原创

教育
游戏
健康
旅游
艺术

教育要闻

孩子的好奇心从何而来?

4G游戏塞了3G音乐,这款腾讯游戏如何成了500万人的随身听?

这些新疗法,让化疗不再那么痛苦

旅游要闻

机票预定火爆,哥伦比亚仍是拉美第二热门旅游地 | 新民侨梁

艺术要闻

缅怀 | 著名油画家宫立龙逝世,享年73岁

无障碍浏览 进入关怀版