中科院香港中大发布NaTex：3D纹理生成新技术，告别贴图拼接烦恼

这项由香港中文大学MMLab实验室的赖泽强、赵云飞团队与腾讯混元团队合作完成的研究，于2025年11月发表在arXiv预印本平台（论文编号：arXiv:2511.16317v1），为3D纹理生成领域带来了一场技术革命。对于普通人来说，这就像是为3D模型穿衣服的全新方式——不再需要费力地拼接各种布料，而是能够直接在3D空间中"长出"完美贴合的纹理。

在游戏、动画和虚拟现实的世界里，让3D模型看起来逼真自然一直是个技术难题。就像给复杂形状的雕塑穿衣服一样，传统方法需要先从不同角度拍摄多张照片，然后像拼图一样将这些2D图片投射到3D表面上。这种做法虽然能工作，但经常会出现接缝不自然、遮挡区域需要人工修补、颜色不连贯等问题，就像用不同批次的布料拼接衣服，总会有色差和接缝痕迹。

研究团队提出的NaTex（Native Texture）技术彻底改变了这种思路。他们不再依赖2D照片的拼接，而是直接在3D空间中生成纹理，就像植物在土壤中自然生长一样。这种方法的核心思想是将纹理看作密集的彩色点云——每个3D坐标点都有自己的颜色信息，形成一个连续的颜色场。这样一来，就不会有传统方法中的遮挡问题，也不需要复杂的修补工作。

一、革命性的技术架构：几何感知的颜色生成系统

NaTex的技术架构可以用一个精密的纺织工厂来类比。这个工厂有两条紧密配合的生产线：一条专门处理几何信息（形状、位置、法向量），另一条专门处理颜色信息。与传统工厂不同的是，这两条生产线不是独立运作，而是紧密协作，几何信息会实时指导颜色的生成。

研究团队设计了一个几何感知的颜色变分自编码器（VAE），这个系统的工作原理就像一个经验丰富的裁缝。当裁缝为客户制作衣服时，不仅要考虑布料的颜色和图案，更要时刻关注客户的身形特征。同样，这个VAE系统在生成纹理颜色时，会同时考虑3D模型的几何特征，确保纹理与表面形状完美贴合。

系统首先从纹理网格中采样出包含RGB颜色、位置和法向量信息的点云数据。几何编码器负责处理位置和法向量信息，而颜色编码器则处理所有三种信息。关键在于，几何查询是随机从颜色点云中采样生成的，这使得几何和颜色信息能够在同一个坐标系统下对应起来。这种设计确保了在生成纹理时，系统能够精确知道每个颜色点对应的几何位置和方向。

为了进一步提升重建质量，系统采用了创新的损失函数设计。除了传统的KL散度损失和颜色回归损失，还引入了截断UDF（无符号距离函数）损失。颜色回归损失不仅监督表面点的颜色，还监督近表面点的颜色，这通过随机沿法向量方向偏移查询点来实现。这种做法确保了生成的纹理在表面附近具有平滑的过渡，避免了突兀的颜色跳跃。

二、原生几何控制：精确的纹理对齐技术

传统的多视图纹理生成方法面临的最大挑战之一是如何确保纹理与几何细节的精确对齐。这就像用投影仪将图像投射到不规则表面上，总会有变形和对齐偏差。NaTex通过原生几何控制技术彻底解决了这个问题。

研究团队设计了一个多控制颜色扩散变换器（DiT），这个系统可以灵活地整合不同类型的控制信号。几何控制包括两个层面：首先是基于采样点查询位置的RoPE（旋转位置编码），提供粗略的结构指导；其次是从VAE几何分支获得的几何潜在集合，提供精细的表面指导。

这种双层几何控制的设计特别巧妙。几何潜在集合与纹理潜在集合是同构的，也就是说它们具有相同的结构和维度。这使得系统可以将几何信息直接拼接到噪声纹理潜在集合中，实现点对点的几何指导。这种设计确保了在纹理生成的每一步中，系统都能准确知道当前处理的是模型的哪个部分，应该生成什么样的纹理。

图像控制方面，系统使用DINOv2-Giant进行图像条件处理，将输入分辨率提升到1022像素，比之前方法的518像素有显著提升。为了减少图像token的长度，系统保持原始宽高比，使用二值掩码从1022分辨率输入图像中裁剪出目标对象。这种处理方式不仅提高了细节捕获能力，还优化了计算效率。

三、多功能应用框架：从纹理生成到材质建模

NaTex的设计哲学是构建一个通用的颜色场生成框架。这种通用性体现在系统能够处理任何可以用RGB形式表示的信息。就像一个多功能的染料工厂，不仅能生产普通的布料染料，还能生产金属质感、皮革质感等各种特殊效果的染料。

在材质生成方面，系统采用了创新的编码策略。传统的物理基渲染（PBR）材质包含反照率、粗糙度和金属度三个分量。研究团队将粗糙度和金属度映射到修改后的反照率中，其中蓝色通道固定为零。这种统一表示使得相同的颜色VAE可以处理材质信息。在训练阶段，系统使用专门的材质DiT，条件包括输入图像（图像控制）、带反照率的纹理网格（颜色控制）和输入几何（几何控制）。推理时采用两阶段方法：第一阶段预测反照率，第二阶段基于预测的反照率生成粗糙度和金属度。

纹理细化功能展现了系统的实用价值。通过引入颜色控制机制，系统可以将初始纹理作为额外控制信号。这个过程就像一个专业的图像修复师，能够自动修正投影错误并填补遮挡区域。得益于强大的条件控制，整个过程只需要5步就能完成，使得实时应用成为可能。

部分分割和纹理化功能更是展现了系统的灵活性。在部分分割任务中，系统可以零样本适应，通过输入2D分割掩码直接生成3D分割结果。对于复杂结构，可以通过微调基础模型来提高准确性。部分纹理化则直接在3D空间中为不同部分预测颜色，自然地处理部分之间的遮挡关系，生成一致且干净的纹理。

四、实验验证：全面超越现有方法

研究团队进行了全面的实验评估，包括重建性能、生成质量和应用效果的验证。在重建任务中，虽然模型最大训练token数为6144，但重建质量随着潜在集合大小的增加而提升。在24576×64的配置下，系统在6个正交渲染视图上达到了34.30的PSNR、0.987的SSIM和0.0411的LPIPS。

生成质量的比较更加令人瞩目。研究团队使用MaterialMVP的评估协议，在相同测试集上与Paint3D、TexGen、Hunyuan3D-2、RomanTex和MaterialMVP进行比较。NaTex在所有指标上都取得了最佳性能：c-FID为21.96（最低）、CMMD为2.055（最低）、CLIP-I为0.908和LPIPS为0.102（最低）。这些数字背后反映的是纹理质量的显著提升和与输入图像的更好匹配。

视觉比较结果更加直观地展现了NaTex的优势。与商业模型Rodin-Gen2和Tripo 3.0的比较中，所有竞争方法都在几何边界处出现纹理对齐问题，而NaTex实现了近乎完美的对齐。即使在没有遮挡区域的情况下（如角色模型），其他方法仍然会产生星星和纽扣错位等伪影，而NaTex则能保持精确的细节对齐。

在细化和修复任务中，系统与传统OpenCV插值方法的比较显示了神经网络方法的明显优势。在房屋窗户等遮挡区域的处理上，NaTex生成的纹理更加清洁自然，边界对齐更加精确。这种性能提升在实际应用中具有重要价值，特别是对于需要高质量纹理的商业项目。

消融实验进一步验证了设计选择的重要性。移除RoPE会导致纹理-几何对齐质量下降，而使用独立的几何嵌入替代紧密耦合的几何分支会导致颜色扩散现象，如椅背颜色的不自然扩散。这些结果证实了原生几何控制设计的必要性和有效性。

不同推理设置的实验展现了系统的灵活性。虽然训练时最大token数为6144，但系统支持在推理时使用不同的token长度和采样步数。随着token长度增加，生成质量和对齐精度都会逐步提升。更令人惊讶的是，尽管没有进行蒸馏训练，系统能够实现一步生成，这得益于强大的条件控制机制。

五、技术影响与未来展望

NaTex的发布标志着3D纹理生成领域的一个重要转折点。这项技术不仅解决了传统多视图方法的固有问题，更为整个3D内容创作流水线带来了新的可能性。对于游戏开发者来说，这意味着可以更快速地为3D资产生成高质量纹理，大幅减少手工修复的工作量。对于影视制作团队，这技术能够提供更一致、更逼真的纹理效果，提升最终作品的视觉质量。

从技术发展的角度来看，NaTex证明了直接在3D空间中进行生成建模的可行性和优越性。这种思路的成功可能会启发更多研究者探索3D原生的生成方法，推动整个3D AI领域的发展。特别是在虚拟现实和增强现实快速发展的今天，高质量的3D纹理生成技术将成为构建沉浸式体验的关键基础设施。

研究团队也坦诚地指出了当前技术的局限性。VAE的重建质量仍有提升空间，特别是对于更高分辨率纹理的支持。材质生成的数据策划需要进一步优化，部分分割的模糊性和粒度问题需要改进。封闭表面相邻部分的纹理化处理也面临挑战。这些问题为后续研究提供了明确的方向，也为技术的持续改进留下了空间。

对于普通人来说，NaTex技术的成熟和普及将使3D内容创作变得更加民主化。未来，即使没有专业3D技能的用户也可能通过简单的操作为自己的3D模型生成专业级的纹理。这种技术的普及可能会催生新的创作形式和商业模式，让3D内容创作从专业领域扩展到更广泛的用户群体。

说到底，NaTex代表的不仅仅是一个新的算法或工具，而是一种全新的思维方式。它告诉我们，在面对复杂的技术挑战时，有时候最好的解决方案不是改进现有方法，而是从根本上重新思考问题的本质。这种创新思维在人工智能快速发展的今天显得尤为珍贵，也为我们解决其他技术难题提供了有益的启示。

Q&A

Q1：NaTex与传统3D纹理生成方法有什么区别？

A：传统方法像拼图一样，先从不同角度拍摄2D照片再投射到3D表面，容易出现接缝和色差。NaTex直接在3D空间中生成纹理，就像植物自然生长，避免了拼接问题，实现了完美的几何对齐和颜色连续性。

Q2：普通用户能使用NaTex技术吗？

A：目前NaTex还是研究阶段的技术，需要专业的计算设备和技术知识。但随着技术成熟，未来可能会集成到用户友好的3D创作软件中，让普通人也能轻松为3D模型生成高质量纹理。

Q3：NaTex生成的纹理质量如何？

A：实验结果显示NaTex在所有评估指标上都超越了现有方法，特别是在纹理与几何的精确对齐方面。与商业产品相比，NaTex能实现近乎完美的边界对齐，避免了传统方法中常见的错位和模糊问题。