北京
Neural LightRig团队 投稿
量子位 | 公众号 QbitAI
如何从一张普通的单幅图像准确估计物体的三维法线和材质属性，是计算机视觉与图形学领域长期关注的难题。
这种单图逆渲染任务存在严重的不确定性，传统方法通常需要多角度或多光源的拍摄条件，难以在日常场景中普遍应用。
近日，由香港中文大学、上海人工智能实验室及南洋理工大学的研究团队联合研发的论文《Neural LightRig: Unlocking Accurate Object Normal and Material Estimation with Multi-Light Diffusion》。
其成果已被计算机视觉顶级会议CVPR 2025正式接收。
核心立意
Neural LightRig创新性地提出利用图像扩散模型（如Stable Diffusion）的强大先验信息，生成虚拟的多光照图像，从而有效解决单图估计法线和PBR材质过程中存在的不确定性问题。
研究团队首次提出通过微调预训练的图像扩散模型，生成不同光照条件下的一致性多光照图像序列，这种方法有效减少了单图估计过程中的内在不确定性。
混合条件策略：通过通道级别的图像拼接与参考注意力机制的结合，引入输入图像的先验信息，有效保证了生成图像的颜色和纹理细节的一致性。
双阶段微调策略：首先仅微调扩散模型的初始卷积层及注意力层，以稳定早期训练；随后以较低学习率微调整个模型，进一步提升模型生成多光照图像的质量。
2. 基于U-Net的大型G-buffer重建模型
利用扩散模型生成的多光照图像作为辅助信息，团队设计了一个基于U-Net架构的回归模型，以实现对物体表面法线和PBR材质属性（包括反照率、粗糙度、金属性）的高效精确估计。
显式光照条件输入：通过对光源位置进行球面坐标编码，使模型能显式地关联不同光照方向下的图像变化，更有效地预测物体表面属性。
优化目标设计：采用余弦相似度损失和均方误差(MSE)联合优化法线估计，材质估计则采用简单而有效的均方误差损失。
数据增强策略：针对扩散模型生成图像与真实渲染图像之间的领域差异，提出随机降质、亮度调整、光照方向扰动和数据混合策略，以提高模型的泛化能力与稳定性。
实验表现
在自主构建的大规模数据集LightProp上的实验结果表明，Neural LightRig在各项指标上全面超越现有先进方法：
- 法线估计：平均角度误差显著降低至6.413°，大幅提高估计精度（详见论文表1和图5）；
- 材质估计与新光照下渲染效果：实现了对反照率、粗糙度和金属性等材质属性的精准估计，并能够生成逼真的单图重光照效果（详见论文表2与图6图7）。
此外，该方法在真实世界图像中的泛化表现突出，展现出良好的实际应用潜力，适用于增强现实（AR）、虚拟现实（VR）和数字内容创作等广泛领域。
法线估计
材质估计
新光照渲染
开源与资源
为促进研究与应用，研究团队已公开了相关资源，欢迎社区同行积极使用和探索：
代码开源地址：
https://github.com/ZexinHe/Neural-LightRig
数据集开源地址：https://huggingface.co/datasets/zxhezexin/NLR-LightProp-Objaverse-Renderings
预训练模型地址：https://huggingface.co/zxhezexin/neural-lightrig-mld-and-recon
论文链接：https://arxiv.org/abs/2412.09593
项目主页：https://projects.zxhezexin.com/neural-lightrig/
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
