南京大学团队让AI修复3D物体，就像视频编辑一样简单！

我们生活中经常遇到物品损坏的情况——古董花瓶的一角磕掉了，雕塑的某个部分缺失了，或者考古发现的文物残缺不全。传统修复需要专业技师花费大量时间和精力，而且往往难以完美复原。现在，来自南京大学、Great Bay大学、哈尔滨工业大学和中山大学的联合研究团队带来了一个革命性的解决方案——ObjFiller-3D，这项技术就像给3D物体做"美颜修复"一样神奇。

这项研究发表于2025年8月，研究团队由南京大学的冯海唐、刘杰、唐杰和吴刚山领导，Great Bay大学的王光聪教授、哈尔滨工业大学的陈贝奇以及中山大学的赖建煌教授共同参与。感兴趣的读者可以通过项目主页 https://objfiller3d.github.io 了解更多详细信息。

过去的3D修复技术就像是让多个画家分别为同一个物体的不同角度画画，结果往往是每个角度看起来都不太一样，拼接起来就像是四不像。传统方法通常先用2D图像修复工具分别处理物体的各个视角，然后再将这些图像拼接成3D模型。这就好比几个厨师各自按照自己的理解做同一道菜的不同部分，最后端上桌的菜品往往口味不协调。

ObjFiller-3D的创新之处在于将3D修复问题转化为视频编辑问题。研究团队发现，如果把物体的360度旋转视图想象成一段视频，那么修复缺失部分就变成了视频修复任务。这就像是把一个转动的花瓶拍成视频，然后用视频编辑软件修复其中的损坏部分，最后再从修复后的视频中提取出完整的3D模型。

一、从图片拼接到视频修复的革命性转变

传统的3D物体修复方法面临着一个根本性难题：如何让不同角度的修复结果保持一致性。过去的方法就像是请几个互不沟通的修复师分别修复一个古董花瓶的不同面，每个人都有自己的理解和风格，最终拼接出来的花瓶往往看起来很奇怪。

NeRFiller和Instant3dit这两种之前的先进方法尝试了一些解决方案。NeRFiller提出了一个"网格先验"的概念，就是将四个不同角度的图像排列成2×2的网格，一起进行修复。这就像是让四个修复师坐在一起商量着修复，确实比各自为战要好一些。Instant3dit在此基础上更进一步，专门训练了一个能够理解这种2×2网格图像的修复模型。

然而，这些方法都有一个致命缺陷：它们只能同时处理四个角度的图像，这就好比只能从东南西北四个方向观察一个物体。对于复杂的物体来说，四个角度远远不够，就像你想全面了解一个精美的雕塑，仅仅从四个固定角度观看是远远不够的。

研究团队意识到，现在的视频生成和编辑技术已经非常成熟了。视频模型天生就具有保持帧与帧之间一致性的能力，这正是3D修复所需要的。如果能将物体的多角度视图当作视频的连续帧来处理，就能利用视频模型的这种天然优势。

二、巧妙的视频-3D转换技术

将3D修复转换为视频处理并不是简单的概念转换，而是需要解决一系列技术挑战。研究团队深入分析了3D场景和真实视频之间的根本差异。

3D场景就像一个完美的展示台，物体静静地放在中央，可以从任意角度无死角地观察，照明均匀，没有遮挡，就像博物馆中精心布置的展品。而真实世界的视频则完全不同，就像是在人群中匆忙拍摄的街头场景，有快有慢，有遮挡，有模糊，还可能有各种意外情况。

为了弥合这种差异，研究团队采用了一种叫做LoRA（低秩适应）的技术来改造现有的视频修复模型VACE。这个过程就像是给一个专业的电影剪辑师进行专门的培训，让他学会处理博物馆展品的修复工作。原来的视频模型就像一个经验丰富的电影剪辑师，擅长处理各种复杂的动态场景，但现在需要让他专门学会修复静态物体的技能。

LoRA技术的巧妙之处在于，它不会完全改变原有模型的能力，而是在现有能力基础上添加新的专业技能。这就像是给一个多才多艺的工匠增加一项新技能，而不是让他忘记之前的所有技能重新学习。

研究团队将每个3D物体从16个均匀分布的角度进行拍摄，然后将这16张图片按顺序排列成一个360度的"旋转视频"。为了确保视频能够完美循环，他们将第一帧图像复制一份放在最后，这样整个视频就像一个无缝循环播放的动画。

三、基于参考图像的智能修复

在实际应用中，我们经常有一些参考材料。比如修复一件古董时，我们可能有这件古董完好时期的照片，或者有类似古董的完整样本。ObjFiller-3D充分利用了这种情况，开发出了基于参考图像的修复功能。

这个功能的实现非常巧妙。研究团队将参考图像作为视频序列的第一帧，并为这一帧提供一个全零的掩码，告诉系统这一帧不需要任何修复。这就像是给修复师提供了一个完美的样板："请按照这个样子来修复其他角度的损坏部分。"

在视频修复完成后，这个参考帧会被丢弃，留下的是与参考图像完美匹配的修复结果。整个过程就像是一个经验丰富的古董修复师，先仔细观察了完好的参考样品，然后据此修复损坏的部分，确保修复后的物品与原物保持高度一致。

这种参考引导的修复方式特别适合文物保护和数字文化遗产保护领域。考古学家经常会发现一些残缺的文物，如果能找到相似的完整文物作为参考，就可以用ObjFiller-3D进行高质量的数字化修复。

四、突破性的实验成果

研究团队在多个不同类型的数据集上测试了ObjFiller-3D的性能，结果令人印象深刻。他们使用了三种不同类型的3D掩码来模拟不同的损坏情况：凸包掩码（模拟整体缺失）、表面掩码（模拟表面划痕）和体积掩码（模拟深度损伤）。

在与最先进的NeRFiller方法比较时，ObjFiller-3D在图像质量指标PSNR上取得了26.6的分数，远超NeRFiller的15.9分。在感知质量指标LPIPS上，ObjFiller-3D获得了0.07的低分（越低越好），而NeRFiller为0.23。这些数字看起来可能很抽象，但实际意义非常明显：ObjFiller-3D修复的物体看起来更加清晰、细致，更接近原始物体的真实样貌。

更重要的是，ObjFiller-3D在处理速度上也有显著优势。传统的NeRFiller方法需要40多分钟才能完成一个物体的修复，而ObjFiller-3D只需要不到10分钟，效率提升了4倍以上。这就像是将手工修复改为机器批量生产，不仅质量更好，速度也快得多。

研究团队还发现，输入的视角越多，修复效果越好。当输入视角从80个增加到140个时，修复质量持续提升。这说明更全面的观察角度能够提供更丰富的信息，帮助系统更好地理解物体的真实结构。

五、从物体修复到场景重建的全面应用

ObjFiller-3D的应用潜力远不止单个物体的修复。研究团队成功地将这项技术扩展到了更复杂的3D场景修复任务。传统的场景修复方法SPIn-NeRF只能处理相对简单的移除任务，就像是从照片中删除某个物体。而ObjFiller-3D能够处理更大范围、更复杂的场景修复任务。

在场景修复测试中，研究团队选择了四种不同类型的场景进行测试，包括室内环境和户外场景。实验结果显示，ObjFiller-3D不仅能够成功修复缺失的场景部分，还能保持修复区域与周围环境的自然融合。这就像是一个熟练的景观设计师，不仅能够修复花园中缺失的部分，还能确保新修复的部分与整体风格完美协调。

更有趣的是，由于修复和编辑在技术上密切相关，ObjFiller-3D还可以用于物体编辑任务。比如，可以给自由女神像添加一个啤酒杯，或者改变物体的某个部分。这种编辑能力为数字内容创作开辟了新的可能性。

六、技术实现的精妙细节

ObjFiller-3D的成功不仅在于创新的思路，更在于精心设计的技术细节。研究团队使用了一种叫做流匹配损失的训练方法，这种方法能够确保生成的视频帧之间保持时间一致性。这就像是训练一个团队合作，确保每个成员的动作都与其他成员完美协调。

在数据准备阶段，研究团队重新处理了Instant3dit数据集，为大约7000个高质量3D物体生成了16视角的渲染图像。他们还使用Cap3D工具为每个物体生成了详细的文字描述，这些描述就像是物体的"身份证"，帮助AI更好地理解要修复的内容。

训练过程采用了渐进式的方法。研究团队首先使用VACE1.3B模型进行初步测试，然后升级到更强大的VACE14B模型。较大的模型虽然需要更多的计算资源（约60GB显存），但能够产生更高质量的修复结果。整个训练过程在单个NVIDIA A800 GPU上进行，用时约3天。

七、面向未来的广阔前景

ObjFiller-3D的意义远远超出了技术本身的创新。在文化遗产保护领域，这项技术可以帮助博物馆和考古机构对珍贵文物进行数字化修复和保护。许多历史文物由于年代久远而出现损坏，传统的物理修复既昂贵又存在风险，而数字修复则可以在不触碰原物的情况下创建完美的虚拟复原版本。

在数字内容创作领域，ObjFiller-3D为游戏开发、电影制作和虚拟现实应用提供了强大的工具。游戏开发者可以快速修复或编辑3D模型，电影制作团队可以用它来修复拍摄中的缺陷，VR应用开发者可以创建更完整、更逼真的虚拟环境。

工业设计和制造领域也能从这项技术中受益。当产品原型出现缺陷时，设计师可以使用ObjFiller-3D快速生成修复方案，而无需重新制作整个原型。这不仅节省了时间和成本，还能帮助设计师更好地可视化最终产品。

研究团队也坦诚地指出了当前技术的局限性。由于ObjFiller-3D基于视频基础模型构建，其能力受到底层模型的限制。不过，随着视频生成技术的快速发展，这些限制有望在未来得到解决。

说到底，ObjFiller-3D代表了AI技术在3D内容处理领域的一个重要突破。它不仅解决了长期存在的多视角一致性问题，还为3D修复和编辑任务提供了一个统一、高效的解决方案。这项技术将3D修复从一个需要专业技能和大量时间的复杂任务，转变为一个几乎可以自动化完成的简单过程。

更重要的是，ObjFiller-3D展示了跨领域技术融合的巨大潜力。通过将视频处理技术巧妙地应用于3D问题，研究团队开辟了一条全新的技术路径。这种创新思路可能会启发更多类似的跨界应用，推动AI技术在更多领域的发展和应用。

对于普通用户而言，这意味着未来我们可能会拥有更多智能、便捷的3D内容创作和修复工具。无论是保护珍贵的家庭纪念品，还是创作个性化的数字内容，这样的技术都将让复杂的3D操作变得像编辑照片一样简单。

有兴趣深入了解这项技术细节的读者，可以访问项目主页获取更多信息，研究团队承诺将在论文正式发表后公开所有相关数据和代码，为学术界和工业界的进一步发展做出贡献。

Q&A

Q1：ObjFiller-3D是什么？它能做什么？

A：ObjFiller-3D是南京大学等高校联合开发的3D物体修复技术，它能像视频编辑一样智能修复3D物体的缺失部分。无论是古董花瓶的缺角、雕塑的残缺部分，还是考古文物的损坏区域，都能进行高质量的数字化修复，修复后的物体各个角度都保持一致。

Q2：ObjFiller-3D比以前的3D修复技术好在哪里？

A：传统方法就像让多个画家分别画同一物体的不同角度，结果往往不一致。ObjFiller-3D将3D修复转化为视频处理问题，利用视频模型天然的帧间一致性优势，修复质量（PSNR 26.6 vs 15.9）和速度（10分钟 vs 40分钟）都大幅超越以前的方法。

Q3：普通人可以使用ObjFiller-3D技术吗？

A：目前ObjFiller-3D还主要用于学术研究和专业应用，研究团队承诺将公开相关代码和数据。未来这项技术有望应用于博物馆文物修复、游戏开发、电影制作等领域，最终可能发展成普通用户也能使用的3D内容创作工具。