网易首页 > 网易号 > 正文 申请入驻

阶跃星辰×光影焕像联合打造超强3D生成引擎Step1X-3D!

0
分享至

阶跃星辰携手光影焕像发布并开源 3D 大模型 ——Step1X-3D。Step1X-3D 模型总参数量达 4.8B(几何模块 1.3B,纹理模块 3.5B),凭借坚实的数据基础与先进的 3D 原生架构,可生成高保真、可控的 3D 内容。

Step1X-3D 不止于视觉「好看」,更追求实现「好用」与「可控」,旨在为 3D 内容创作提供强大而可靠的技术引擎。这款模型可以广泛应用在游戏娱乐、影视与动画制作、工业制造与设计等各种场景。

Step1X-3D 公布了完整的数据清洗策略,数据预处理策略,以及 800K 高质量的 3D 资产,3D VAE、3D Geometry Diffusion 以及 Texture Diffusion 的全链路训练代码开源,助力 3D 生成社区发展。

  • 论文标题:Step1X-3D: Towards High-Fidelity and Controllable Generation of Textured 3D Assets
  • 作者:Weiyu Li, Xuanyang Zhang, Zheng Sun, Di Qi, Hao Li, Wei Cheng, Weiwei Cai, Shihao Wu, Jiarui Liu, Zihao Wang, Xiao Chen, Feipeng Tian, Jianxiong Pan,Zeming Li, Gang Yu, Xiangyu Zhang, Daxin Jiang, Ping Tan
  • 代码地址: https://github.com/stepfun-ai/Step1X-3D
  • 项目主页:https://stepfun-ai.github.io/Step1X-3D
  • HuggingFace: https://huggingface.co/stepfun-ai/Step1X-3D
  • 技术报告: https://arxiv.org/pdf/2505.07747

欢迎大家上手体验:

Online Demo(立即体验):https://huggingface.co/spaces/stepfun-ai/Step1X-3D

核心特性与技术支撑

Step1X-3D 尝试解决 3D 内容生成的关键挑战,在数据、生成质量与可控性上进行了创新实践。

1. 数据驱动与算法协同优化

好数据是好模型的基础。Step1X-3D 对超 500 万原始数据进行严格筛选与处理后,建立了包含 200 万高质量、标准化的训练样本库,有效克服了行业数据稀缺与质量参差的瓶颈。

数据处理流程示意图

此外,Step1X-3D 通过增强型网格 - SDF 转换技术等方法,从源头保障了模型学习的精准性与最终生成的高效性,让水密几何转换成功率提升了 20%,也让 Step1X-3D 拥有了强大的泛化能力与细节捕捉力。

Step1X-3D 数据筛选与 SDF 转换流程示意图

2. 3D 原生生成:结构清晰、细节生动

Step1X-3D 采用先进的 3D 原生两阶段架构,解耦几何与纹理表征,确保生成的不仅是视觉「皮囊」,更是结构可靠、可供下游应用的「骨架」,有效规避几何失真,保证生成的准确性、真实感与一致性。

Step1X-3D 的原生 3D 架构

基于 FLUX MMDiT 结构和 Rectified flow 算法直接对 3D 表示生成进行建模。

纹理生成模型基于预训练的 Diffusion model,通过单视图和 3D 几何信息指导,生成多视角一致的纹理信息。

2.1 几何塑形更精准:

几何生成的核心在于采用为3D 特性深度优化的创新混合 VAE-DiT 架构。该架构负责生成水密(Watertight)的 TSDF 内部表示,确保产出的 3D 模型结构完整、无破面漏点;同时通过引入锐利边缘采样(Sharp Edge Sampling)等技术,精准捕捉并还原物体的丰富几何细节。

几何示例:覆盖硬边与曲面结构

2.2 纹理细节更生动:

纹理生成则基于强大的 SD-XL 模型进行深度定制与优化。通过几何条件(利用法线与位置信息)的精准引导,以及潜在空间多视图同步技术,实现了与几何模块的高效协同。确保生成的纹理不仅色彩饱满、质感生动逼真,更能跨越多视图保持高度一致,与复杂三维表面精密贴合,有效避免常见的扭曲与接缝瑕疵。

纹理示例:呈现清晰一致的表面纹理

3. 控制简单、效果可调

Step1X-3D 显著提升了 3D 内容生成的可控性与易用性。其关键在于,VAE-Diffusion 整体架构在设计上与主流 2D 生成模型(如 Stable Diffusion)保持了高度一致性,从而能够无缝引入并应用成熟的 2D 控制技术(如轻量化的 LoRA 微调)。

因此用户可以对生成 3D 资产的对称性、表面细节(如锋利度、平滑度)等多种属性进行直观、精细的调控,让创作更精准地符合用户意图。

对比图 1:对称性控制效果

对比图 2:表面细节控制效果(锋利 / 平滑)

性能评估

为了客观评估 Step1X-3D 的实际效果,我们通过一个自建的综合测试,对 Step1X-3D 进行了严格的定量与定性评估,同时与多款主流模型进行全面对比。

结果显示:在自动评估中,Step1X-3D 在多项关键维度上均表现出色。

在与主流 3D 模型的对比评测中,特别是在衡量内容与输入语义一致性的核心指标 CLIP-Score 上,Step1X-3D 取得了当前所有对比模型中的最高分,为开源社区提供了极具竞争力的 3D 生成方案。

不同 3D 模型测评对比数据

团队介绍

阶跃星辰 Step1X-3D 团队和光影幻像 LightIllusions 团队。阶跃星辰以实现 AGI为目标,规划了从单模态到多模态、再到多模理解与生成统一的技术路径,最终构建世界模型的大模型公司。光影焕像是一家专注于 3D AIGC 和空间智能技术的人工智能初创公司,公司致力于通过 AI 解放 3D 内容生产力。公司自设立之后便迅速建立了算法研发和产品落地并重的海内外人才梯队,拥有一批 3D AIGC 领域顶尖人才,迄今已经发表过多个 3D AIGC 代表性工作,汇集了来自港科大博士、字节、美团等具有顶级研发能力和丰富技术产品化经验的同学。 公司目前持续重点投入 3D 和空间智能相关的 AI 底层模型的研发,打造 3D 空间智能大脑,同时积极推进 3D 内容商业化落地。

官网:https://www.lightillusions.com/

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
“17岁羽毛球一级运动员集训期间离世”,涉事俱乐部:与其自身身体原因有关,事件具体细节不便透露

“17岁羽毛球一级运动员集训期间离世”,涉事俱乐部:与其自身身体原因有关,事件具体细节不便透露

大风新闻
2026-07-08 23:20:03
特朗普终于翻脸了,决定放出埃尔多安,去“撕咬”内塔尼亚胡

特朗普终于翻脸了,决定放出埃尔多安,去“撕咬”内塔尼亚胡

罗富强说
2026-07-08 14:36:03
日本愁慌了,韩国着急了,那座叫枣庄的中国煤城,煤早已不只是煤

日本愁慌了,韩国着急了,那座叫枣庄的中国煤城,煤早已不只是煤

阿嘵田侃故事
2026-06-17 22:13:29
紧急提醒!这种睡姿,正在毁掉你的脊椎!

紧急提醒!这种睡姿,正在毁掉你的脊椎!

河南交通广播1041
2026-06-29 13:23:06
劳塔罗终于洗刷背负四年的恶名 被打主力耽误的足坛顶级超级替补

劳塔罗终于洗刷背负四年的恶名 被打主力耽误的足坛顶级超级替补

国际足球冷雪
2026-07-08 07:47:07
乌克兰无人机打穿俄能源防线?十大炼油厂九家遇袭,普京紧急开会商讨燃油危机

乌克兰无人机打穿俄能源防线?十大炼油厂九家遇袭,普京紧急开会商讨燃油危机

澎湃新闻
2026-07-08 19:44:27
79岁王奎荣将北京140平房子、2000多万存款,全部赠予小37岁妻子

79岁王奎荣将北京140平房子、2000多万存款,全部赠予小37岁妻子

国际阿尝
2026-07-04 09:05:08
1976年为什么被称为中国历史上最诡异的一年?这一年发生了哪些事?

1976年为什么被称为中国历史上最诡异的一年?这一年发生了哪些事?

覃仕勇说史
2026-07-07 17:59:41
约900条蛇出逃!广西一被咬女子不幸离世!当地最新回应

约900条蛇出逃!广西一被咬女子不幸离世!当地最新回应

新民周刊
2026-07-09 09:12:43
黄有龙万万没想到,自己花重金栽培大的女儿,反倒成全了赵薇

黄有龙万万没想到,自己花重金栽培大的女儿,反倒成全了赵薇

情感大头说说
2026-07-05 06:55:58
为亲人喊冤14年的河南农妇,终于把自己也喊进了监狱

为亲人喊冤14年的河南农妇,终于把自己也喊进了监狱

塔子山评说
2026-06-29 16:49:51
乘联分会:6月全国乘用车市场零售160.2万辆 同比下降23.2%

乘联分会:6月全国乘用车市场零售160.2万辆 同比下降23.2%

证券时报
2026-07-08 16:33:06
点一个外卖员

点一个外卖员

城市的地得
2026-07-09 14:10:44
离开火只差一步!菲律宾硬闯南海锁定中军舰,真当中国不敢动手?

离开火只差一步!菲律宾硬闯南海锁定中军舰,真当中国不敢动手?

跳跳历史
2026-07-06 14:09:54
穆氏皇马又腾出一名额,26岁左边后卫加西亚,400万欧元转会离队

穆氏皇马又腾出一名额,26岁左边后卫加西亚,400万欧元转会离队

福酱的小时光
2026-07-09 07:37:17
休媒认同4换1墨菲方案:愿出3-4首轮送范乔丹 他完美契合KD申京阿门

休媒认同4换1墨菲方案:愿出3-4首轮送范乔丹 他完美契合KD申京阿门

颜小白的篮球梦
2026-07-09 10:33:31
巴黎40℃高温,看秀明星全靠手摇扇子硬扛!陈星旭蹭空调抱冰块,网友:这下对欧洲热浪有实感了

巴黎40℃高温,看秀明星全靠手摇扇子硬扛!陈星旭蹭空调抱冰块,网友:这下对欧洲热浪有实感了

都市快报橙柿互动
2026-07-08 02:39:54
美加墨世界杯摄影师都在用什么相机和镜头?

美加墨世界杯摄影师都在用什么相机和镜头?

摄影初级班
2026-07-07 23:47:05
玄彬孙艺珍全家去美国游玩,夫妻俩素养好耐看,儿子好抢眼

玄彬孙艺珍全家去美国游玩,夫妻俩素养好耐看,儿子好抢眼

迪迪的娱乐故事
2026-07-09 11:43:27
荒淫无度的古罗马,究竟有多混乱?中国历朝历代,都比不上

荒淫无度的古罗马,究竟有多混乱?中国历朝历代,都比不上

抽象派大师
2026-07-01 01:30:09
2026-07-09 14:56:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
13469文章数 142691关注度
往期回顾 全部

科技要闻

字节杀回来了!深度实测Seedream 5.0 Pro

头条要闻

快递员上门揽件摔裂18.6万手镯 公司提出2.4万元赔付

头条要闻

快递员上门揽件摔裂18.6万手镯 公司提出2.4万元赔付

体育要闻

信哈兰德吃小孩,还是信非洲足球会魔法?

娱乐要闻

王宝强新女友现身!网友炸锅!

财经要闻

九部门:支持加快零售业创新发展

汽车要闻

全面超越你的期待 海豹08探店分享

态度原创

手机
本地
家居
公开课
军事航空

手机要闻

安卓TOP5大厂集体抛弃小折叠:三星Galaxy Z Flip8成收官之作

本地新闻

万斤西瓜免费吃,来河南顶“瓜瓜”

家居要闻

2026建博会(广州) 公装联探展交流活动

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

伊朗:美军袭击造成8名伊朗军人死亡

无障碍浏览 进入关怀版