网易首页 > 网易号 > 正文 申请入驻

业界首个高质量原生3D组件生成模型来了!来自腾讯混元团队

0
分享至

业界首个高质量原生3D组件生成模型来了!来自腾讯混元3D团队。

现有的3D生成算法通常会生成一体化的3D模型,而下游应用通常需要语义可分解的3D形状,即3D物体的每一个组件需要单独地生成出来。

一般来说,组件式3D生成主要有2个应用场景:

1) 视频游戏制作管线: 在游戏中, 很多资产是要根据语意信息将其绑定不同的游戏逻辑, 比如,汽车模型应该能够被分解为主体和四个可滚动的轮子, 这样轮子是可以单独滚动起来的。所以组件拆分很重要。

与此同时,3D几何生成的下游链路,包括低模拓扑,UV展开等模块。这些模块处理很复杂的几何会变得困难,通过将复杂几何进行拆分简单的小组件,这种分而治之的策略,可以大大降低下游算法的处理难度。

2)3D打印: 这对3D打印行业也是不错的消息, 用户可以把组件一个一个打印出来然后再组装,像搭积木一样。

然而,现有的组件式3D生成方法通常缺乏足够的可控性,生成部件的几何质量不够理想,并且语义连贯性有限。

对此,Hunyuan3D-Part提出了一种用于打造可投入生产,几何质量高,可编辑,且结构合理的组件式3D生成新范式。

下面详细来看。

技术流程介绍

如下图所示,给定一张输入图片,团队首先使用Hunyuan3D的基模型获取整体形状(可以是V2.5或者V3.0)

然后,将整体Mesh传递给部件检测模块P3-SAM,以获得语义特征和部件的边界框(bounding boxes)

最后,由X-Part将整体形状分解为各个部件。



△图1. Hunyuan3D-Part组件拆分整体流程

其技术亮点在于:

1)提出了业界首个原生3D分割模型P3-SAM, 利用大规模高质量3D数据训练,摆脱对2D数据的依赖,大幅提高3D组件分割的精度和鲁棒性。

2)提出了工业级组件生成模型X-Part,重新定义3D组件生成可控性和生成质量的天花板。

技术展开介绍

以下为P3-SAM和X-Part的详细介绍。

原生3D分割模型P3-SAM

团队提出了一种原生3D的分割模型,称为Point-PromptablePartSegmentation,即P3-SAM。

该模型旨在实现对任意复杂三维物体的全自动分割,生成精确掩码并具备极强的鲁棒性。作为开创性的可提示图像分割工作,SAM为实现这一目标提供了可行的方案。

然而,本方法聚焦于自动实现精确的组件分割,并对SAM的体系结构进行了简化。团队未采用SAM中复杂的分割解码器和多类型提示,仅采用单一正点提示进行处理。

具体来说,如图2所示,P3-SAM包含一个特征提取器、三个分割头和一个IoU(交并比)预测头。



△图2. P3-SAM训练流程

PointTransformerV3作为特征提取器,并融合其不同层级的特征作为点级特征。输入的点提示和特征信息会被融合,并传递至分割头,用于预测三个多尺度掩码。同时,IoU预测头用于评估掩码质量。

为实现物体的自动分割,如图3所示,团队利用FPS(最远点采样)生成点提示,配合NMS(非极大值抑制)合并冗余掩码。点级掩码随后被投影到网格面上,从而获得部件分割结果。



△图3. P3-SAM自动分割流程

本方法的另一关键创新在于,完全摒弃2D SAM的影响,依赖于原生3D部件监督,进行原生3D分割模型的训练。

鉴于现有3D部件分割数据集规模普遍较小且缺乏详细部件标注,本方案开发了一套用于美术师创建网格的自动化部件标注流程,并据此生成了一个包含370万个高质量部件级掩码的三维网格数据集。

最终模型在该数据集上展现出优越的可扩展性,并实现了强鲁棒性、精确性及全局一致性的组件级分割。

X-Part:高保真且结构一致的形状分解

X-Part能够实现具有语义意义且结构一致的部件生成。目标是在给定物体点云的情况下,生成高保真、结构一致的部件几何体,同时保证对分解过程的灵活可控性。

如图4所示,首先利用P3-SAM得到组件的包围盒,点云语义特征。 为实现可控性提出了一个基于部件级提示的特征提取模块,利用P3-SAM包围盒作为提示,指示部件的位置和尺寸,而不是直接将分割结果作为输入。

与细粒度、点级分割提示相比,包围盒提供了一种更粗粒度的引导方式,有助于缓解对输入的过拟合。

此外,包围盒还为部分可见部件提供了额外的体积信息,从而有利于生成和可控性。

其次,尽管分割结果可能存在不准确,团队注意到高维点级语义特征并没有受到P3-SAM中聚类算法或预测头所导致的信息压缩影响,因此能够提供更准确的语义表示。

因此,团队将语义特征以精心设计的特征扰动方式引入到其框架中,这有助于实现有意义的部件分解。



△图4. X-Part训练流程

Benchmark定量对比结果

本方案在三个数据集上进行了效果评估:PartObj-Tiny、PartObj-Tiny-WT和PartNetE。

PartObj-Tiny是Objarvse的一个子集,包含8个类别共200个数据样本,并且都带有人工标注的部件分割信息。

PartObj-Tiny-WT是PartObj-Tiny的闭合水密(watertight)版本。

如表1(组件分割模型P3-SAM和现有工作对比结果)、表2(组件生成模型X-Part和竞品对比结果)所示,其分割和生成结果大幅超越现有工作。





可视化效果

团队还对模型的分割及生成效果进行了可视化。

下图为P3-SAM的分割结果:



然后是X-Part的生成结果:



下图为X-Part的生成结果, 左中右依次为输入图、混元3D V2.5生成结果、组件拆分结果。



下图为X-Part的生成结果和开源对比:



下图为X-Part的生成结果和闭源R模型对比:



体验地址及相关技术论文如下。

代码:https://github.com/Tencent-Hunyuan/Hunyuan3D-Part
权重: https://huggingface.co/tencent/Hunyuan3D-Part

P3-SAM论文及项目地址:
https://arxiv.org/abs/2509.06784
https://murcherful.github.io/P3-SAM/

X-Part论文及项目地址:
https://arxiv.org/abs/2509.08643
https://yanxinhao.github.io/Projects/X-Part/

体验入口:
(轻量版)Hugging Face demo:https://huggingface.co/spaces/tencent/Hunyuan3D-Part
(满血版)混元3D Studio:https://3d.hunyuan.tencent.com/studio

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
统治力!广东全运男女篮均6战全胜包揽双冠 队史第3冠+第2冠

统治力!广东全运男女篮均6战全胜包揽双冠 队史第3冠+第2冠

醉卧浮生
2025-11-15 21:40:09
日本专家对比中日军事实力:若发生空战和海战,还是日本更强?

日本专家对比中日军事实力:若发生空战和海战,还是日本更强?

云上乌托邦
2025-09-04 11:45:33
震惊!河南临颍县设定“萝卜坑”招聘一文职参谋,网友们沸腾了…

震惊!河南临颍县设定“萝卜坑”招聘一文职参谋,网友们沸腾了…

火山诗话
2025-11-13 14:47:42
“按资产的5%交税!”美国加州将率先推行全球首个亿万富翁财富税

“按资产的5%交税!”美国加州将率先推行全球首个亿万富翁财富税

AI商业论
2025-11-15 17:07:51
消化科医生:这个方法让肠道瞬间干净!

消化科医生:这个方法让肠道瞬间干净!

神奇故事
2025-11-13 23:30:32
6国外援候命,高市通知全球,对华打响第二枪,解放军被逼上硬菜

6国外援候命,高市通知全球,对华打响第二枪,解放军被逼上硬菜

泠泠说史
2025-11-14 18:02:51
伊森的受伤 为火箭带来哪些影响 乌度卡会如何调整和应对

伊森的受伤 为火箭带来哪些影响 乌度卡会如何调整和应对

大话火箭队
2025-11-15 15:24:20
别再可怜李咏了!离世7年后医生揭秘离世真相,难怪选择葬身美国

别再可怜李咏了!离世7年后医生揭秘离世真相,难怪选择葬身美国

喜欢历史的阿繁
2025-11-08 15:09:21
浙江大三甲出现一级甲等事故!

浙江大三甲出现一级甲等事故!

医脉圈
2025-11-14 12:20:54
中国对日本主动出击,在联合国大谈冲绳问题,日媒气了一个多月

中国对日本主动出击,在联合国大谈冲绳问题,日媒气了一个多月

木曉普照
2025-11-15 21:50:03
全运会乒乓球男团北京队3比2上海队,王楚钦单打两战皆胜

全运会乒乓球男团北京队3比2上海队,王楚钦单打两战皆胜

现代快报
2025-11-15 21:39:10
卓伟曝著名男星离婚已不可挽回,更多猛料曝光网友锁住目标,炸了

卓伟曝著名男星离婚已不可挽回,更多猛料曝光网友锁住目标,炸了

阿伧说事
2025-11-15 09:13:41
魏建军:炒作电动车的资本已经走了

魏建军:炒作电动车的资本已经走了

大象新闻
2025-11-15 09:30:21
亚朵大战全季,传统五星级酒店输麻了

亚朵大战全季,传统五星级酒店输麻了

IC实验室
2025-11-13 15:50:52
震惊!日本动画电影破纪录,退票率近20%,《哪吒2》可以松口气了

震惊!日本动画电影破纪录,退票率近20%,《哪吒2》可以松口气了

影视高原说
2025-11-15 09:08:59
一场4-2夺冠,主帅抢镜意外引热议,邓亚萍直言:国际赛场不允许

一场4-2夺冠,主帅抢镜意外引热议,邓亚萍直言:国际赛场不允许

大秦壁虎白话体育
2025-11-15 09:02:46
景甜惊艳亮相,前凸后翘,简约时尚,张继科肠子都悔青?

景甜惊艳亮相,前凸后翘,简约时尚,张继科肠子都悔青?

娱乐领航家
2025-11-15 19:00:03
悲催!嘉兴一母亲哭诉:25岁女儿留学而归,执意嫁给大20岁的男人

悲催!嘉兴一母亲哭诉:25岁女儿留学而归,执意嫁给大20岁的男人

火山诗话
2025-11-13 06:47:04
叹息!南昌某大医院发红头文件要求过紧日子,有人问房贷怎么办?

叹息!南昌某大医院发红头文件要求过紧日子,有人问房贷怎么办?

星河也灿烂
2025-11-15 17:15:54
X欲最强的星座,没有之一!

X欲最强的星座,没有之一!

同道大叔
2025-11-15 22:01:52
2025-11-15 23:04:49
量子位 incentive-icons
量子位
追踪人工智能动态
11682文章数 176330关注度
往期回顾 全部

科技要闻

撕掉流量外衣,小米还剩什么?

头条要闻

中方愤怒升级24小时内2次"奉示约见" 高市又有新动作

头条要闻

中方愤怒升级24小时内2次"奉示约见" 高市又有新动作

体育要闻

樊振东和他的尖子班 勇闯地表最强乒乓球赛

娱乐要闻

钟嘉欣婚变风波升级!被骗婚?

财经要闻

小米之“惑”

汽车要闻

"冰彩沙"全配齐 红旗HS6 PHEV预售17.88万起

态度原创

旅游
房产
艺术
数码
游戏

旅游要闻

襄阳百米长桌宴开席,孔明灯漫天飞,这场古风市集让全网羡慕哭

房产要闻

共话产业变革下的投资新思维与新机遇|蓝湾财富论坛精华

艺术要闻

惊艳!她的造型和用色让人叹为观止!

数码要闻

三星全新笔记本曝光,首款三折叠下月初发售

古埃及金字塔建造模拟游戏《埃及前沿》发售

无障碍浏览 进入关怀版