网易首页 > 网易号 > 正文 申请入驻

中科大团队让AI用两张照片就能"看懂"整个3D世界

0
分享至

这项由中国科学技术大学张天柱教授团队与上海人工智能实验室联合开展的研究于2024年8月25日发表在arXiv预印本平台上。研究团队包括常韩智、朱瑞杰、常文杰、于沐霖、梁彦哲、陆嘉昊、李卓远等多位研究人员。有兴趣深入了解的读者可以通过论文编号arXiv:2508.17811访问完整论文,项目主页为https://hanzhichang.github.io/meshsplat_web/。

当你拿着手机拍摄一个房间时,通常需要从各个角度拍摄几十张照片,才能让计算机理解这个房间的3D结构。但是,如果告诉你现在只需要两张照片,计算机就能完整地"看懂"整个房间的立体结构,甚至能够生成精确的3D模型,你会不会觉得像是科幻电影里的情节?这正是中科大团队最新研究成果MeshSplat要解决的核心问题。

在日常生活中,我们的大脑能够轻松地从有限的视觉信息中推断出物体的完整3D形状。比如,只看到一个苹果的正面,我们就能想象出它的背面大致是什么样子。但对计算机来说,这种"脑补"能力一直是个巨大挑战。传统的3D重建技术就像一个近视眼,需要从无数个角度仔细观察才能拼凑出完整的立体图像。而当可用的照片数量极其有限时,这些技术往往会"抓瞎",生成的3D模型要么千疮百孔,要么完全变形。

想象一下,你正在网上购买一件家具,卖家只提供了两张不同角度的照片。传统的3D重建技术就像一个缺乏经验的木匠,试图仅凭这两张图片就制作出一模一样的家具,结果往往是惨不忍睹的。而MeshSplat技术就像一位经验丰富的工匠,不仅能够准确理解家具的整体结构,还能推断出那些照片中看不到的细节,最终制作出几乎完美的复制品。

这项技术的突破性在于,它首次将2D高斯散点技术成功应用到了稀疏视角的3D表面重建任务中。如果把传统的3D重建比作用粘土捏塑雕像,需要不断从各个角度调整细节,那么MeshSplat就像是用一张特殊的"魔法纸",只需要两个关键视角的信息,就能自动"展开"成完整的3D表面。

研究团队发现,关键问题在于如何让计算机学会像人类一样进行"几何推理"。他们巧妙地利用2D高斯散点作为桥梁,将新视角图像合成任务与几何先验知识学习相结合。这就好比教会计算机一套"几何语法",让它能够从有限的视觉信息中推断出完整的3D结构规律。

一、革命性的技术架构:从"看图说话"到"立体想象"

传统的3D重建技术面临的最大困境,就像是让一个从未见过大象的人仅凭摸到大象的两条腿就描绘出完整的大象。现有的方法要么需要大量的输入图像,要么重建出的3D模型质量极差。MeshSplat技术的革命性突破在于,它完全改变了计算机"理解"3D世界的方式。

这套新技术的核心思路可以这样理解:如果把3D重建比作拼图游戏,传统方法需要收集到几乎所有的拼图片段才能开始工作。而MeshSplat就像是一个拼图高手,只需要看到几个关键的拼图片段,就能推断出整幅图画的样子,然后"脑补"出缺失的部分。

研究团队选择了2D高斯散点(2DGS)作为3D场景的表示方法,这个选择堪称妙笔。传统的3D高斯散点就像用一个个小气球来堆叠3D物体,虽然渲染效果不错,但在表示薄薄的表面时总是显得笨拙。而2D高斯散点更像是用一张张纸片来构建3D世界,这些"纸片"可以完美贴合各种表面,特别适合重建真实世界中那些墙壁、桌面这样的薄表面结构。

更重要的是,2D高斯散点天生就具有方向性。每张"纸片"都有明确的正面和背面,这意味着它能够更准确地表示真实物体的表面法向量。这就好比用纸片搭建房屋模型,每张纸片的朝向都有明确意义,而不像用小球堆积那样模糊不清。

然而,将2D高斯散点应用到稀疏视角重建中并非易事。研究团队发现,2D高斯散点对位置和方向的预测极其敏感。就像搭建纸牌屋一样,每张纸片的位置和角度都必须精确无误,否则整个结构就会崩塌。在只有两个视角的情况下,这种敏感性被进一步放大,任何微小的误差都可能导致重建失败。

为了解决这个问题,研究团队设计了一套完整的端到端学习框架。这个框架的工作流程就像是训练一个"3D想象力"系统。首先,系统从两张输入图像中提取特征信息,就像人眼观察物体时大脑提取的关键视觉特征。然后,通过多视角Transformer网络进行信息交换,让两个视角的信息能够相互"对话",补充彼此的盲区。

接下来是关键的成本体积构建步骤。这个过程就像是在3D空间中撒下一张密密麻麻的网格,每个网格点都对应一个可能的深度值。通过平面扫描技术,系统能够计算出每个像素在不同深度上的匹配置信度,就像用声呐探测海底地形一样,逐层扫描整个3D空间。

有了这些基础信息,高斯预测网络就能开始它的"魔法表演"了。这个网络包含两个关键组件:深度细化网络和法向预测网络。深度细化网络负责精确定位每个2D高斯散点的空间位置,而法向预测网络则负责确定每个散点的朝向。这就像是一个3D雕塑师,不仅要知道在哪里放置每一片"纸片",还要知道每片"纸片"应该朝向哪个方向。

整个系统最终能够输出像素对齐的2D高斯散点集合,每个散点都包含位置、尺度、旋转、透明度和颜色等完整属性。这些散点不仅可以用来渲染新视角图像,更重要的是可以直接提取出高质量的3D网格模型。

二、加权距离约束:让"猜测"变得更准确

在稀疏视角3D重建中,最大的挑战之一就是如何确保从不同视角预测的3D点能够在空间中正确对应。这个问题就像是两个人分别站在房间的两端描述同一个物体,如何确保他们描述的确实是同一个东西?

传统的倒角距离(Chamfer Distance)损失函数就像是一个"和事佬",试图让两个点云尽可能靠近。但这种方法有个致命缺陷:它对所有点都一视同仁。在实际场景中,有些区域的匹配信息非常可靠,比如纹理丰富的墙面,而有些区域则充满不确定性,比如光滑的玻璃表面或者被遮挡的角落。

研究团队提出的加权倒角距离损失就像是引入了一个"智能评判员"。这个评判员能够识别哪些区域的匹配是可信的,哪些区域存在较大不确定性,然后相应地调整约束强度。具体来说,系统会从成本体积中提取置信度图,这个置信度图就像是一张"可信度地图",标明了每个像素的匹配可靠程度。

置信度的计算过程颇为巧妙。系统通过对成本体积进行Softmax操作,计算出每个深度候选的概率分布,然后取最大值作为该像素的匹配置信度。这就像是在多选题中,如果某个选项的得分远高于其他选项,那么这个选择就更可信;反之,如果几个选项得分接近,说明存在较大的不确定性。

有了置信度图,加权倒角距离损失就能发挥作用了。在高置信度区域,比如纹理丰富的桌面或者有明显几何特征的墙角,系统会施加更强的约束,确保两个视角的预测结果严格对应。而在低置信度区域,比如均匀的白墙或者反光表面,系统会放松约束,避免强行匹配导致的错误。

这种加权策略的效果就像是在拼图时优先处理那些特征明显的片段,而对于颜色单一、难以确定位置的片段则保持更大的灵活性。实验结果显示,这种策略能够显著提高重建精度,特别是在处理室内场景的平坦表面时效果尤为明显。

更重要的是,这种加权机制是自适应的,不需要人工设定任何阈值。系统能够根据每个场景的具体情况自动调整权重分布,这就像是一个经验丰富的工匠,能够根据材料的不同特性灵活调整工艺参数。

三、法向预测网络:让表面"站"得更直

在2D高斯散点重建中,每个散点的方向预测比位置预测更加关键。这就像是贴壁纸时,不仅要知道在哪里贴,更要知道应该朝哪个方向贴。如果方向错了,整面墙看起来就会凹凸不平。

研究团队设计了一个专门的法向预测网络来解决这个问题。这个网络的工作原理就像是训练一个"方向感"专家,能够从图像特征中推断出每个点的最佳朝向。网络输入包括细化后的成本体积、多视角特征图以及不同尺度的原始RGB图像,输出则是旋转四元数和不确定性参数。

特别值得一提的是不确定性参数kappa的引入。这个参数就像是给每个预测结果标注一个"信心指数"。kappa值越大,说明网络对该点法向预测越有把握;kappa值越小,说明该点的法向存在较大不确定性。这种设计让系统能够"知道自己不知道什么",这在机器学习中是一种非常有价值的能力。

为了训练这个网络,研究团队使用了不确定性引导的负对数似然损失函数。这个损失函数的设计理念非常巧妙:对于高置信度的预测,如果结果准确,奖励会更大,如果结果错误,惩罚也更严厉;对于低置信度的预测,奖励和惩罚都会相应降低。这就像是一个考试评分系统,对于学生明确表示有把握的题目,答对得高分,答错扣大分;对于学生表示不确定的题目,则采用更宽松的评分标准。

更重要的是,系统使用了Omnidata单目法向估计器作为伪真值监督。这就像是请了一位"家教老师"来指导训练过程。虽然这位"老师"也不是完美的,但它具有丰富的先验知识,能够为网络提供合理的学习目标。

训练过程中还采用了基于不确定性的采样策略。系统不会对所有像素都施加相同强度的监督,而是优先关注那些kappa值较低的像素,也就是网络认为最不确定的区域。这种策略就像是老师重点辅导学习困难的学生,能够更高效地提升整体性能。

实验结果表明,这个法向预测网络能够显著改善2D高斯散点的方向精度,从而大幅提升最终重建出的网格质量。特别是在处理室内场景的墙面、地面等大面积平坦区域时,法向的准确预测对于生成平滑、连续的表面至关重要。

四、实验验证:从数字到现实的全面测试

为了验证MeshSplat技术的实际效果,研究团队进行了大规模的实验测试,就像是给一个新发明的工具进行全方位的"体检"。测试数据集包括Re10K、ScanNet和Replica三个具有代表性的室内场景数据集,覆盖了从真实家庭环境到合成场景的各种情况。

Re10K数据集来源于YouTube上的家庭漫游视频,包含67,477个训练场景和7,289个测试场景,可以说是最接近普通人日常拍摄情况的数据。ScanNet则是真实世界的室内扫描数据,包含更精确的几何信息。Replica是合成的室内数据集,虽然是人工制作的,但几何结构非常精确,适合作为"标准答案"来评估算法性能。

实验设置就像是一场公平的竞赛。所有方法都使用相同的输入(两张稀疏视角图像)和相同的评估指标。为了确保比较的公正性,研究团队还将一些原本用于新视角合成的方法改造成表面重建方法,使用TSDF融合技术提取网格。

评估指标包括倒角距离(CD)、精确度(Precision)、召回率(Recall)和F1分数。这些指标就像是从不同角度评估一个产品的质量。倒角距离衡量重建网格与真实网格的整体偏差,就像测量两个物体的相似程度;精确度评估重建出的点中有多少是正确的,类似于查准率;召回率评估真实表面中有多少被成功重建,类似于查全率;F1分数则是精确度和召回率的调和平均,提供了一个综合评价。

实验结果令人振奋。在Re10K数据集上,MeshSplat在所有指标上都显著超越了现有方法。具体来说,倒角距离从MVSplat的0.4015降低到0.3566,F1分数从0.3100提升到0.3758。这些数字背后意味着重建质量的显著提升,特别是在表面细节和整体结构的准确性方面。

在ScanNet数据集上的表现更加突出,MeshSplat的倒角距离达到0.2606,而最强的竞争对手MVSplat为0.3748,这意味着重建精度提升了约30%。F1分数也从0.2095大幅提升到0.3824,几乎翻了一倍。

为了验证算法的泛化能力,研究团队还进行了跨数据集测试,就像是让一个在中文环境中训练的翻译系统去翻译英文文档。他们用在Re10K上训练的模型直接测试ScanNet和Replica数据集,结果显示MeshSplat仍然保持了良好的性能,证明了其强大的泛化能力。

定性结果同样令人印象深刻。从视觉对比中可以清楚地看到,传统方法重建的网格往往千疮百孔,表面凹凸不平,而MeshSplat重建的网格则平滑连续,细节丰富。特别是在处理室内场景的墙面、地面这些大面积平坦区域时,MeshSplat能够生成几乎完美的平面,而其他方法往往会产生明显的噪声和伪影。

五、消融实验:解剖技术的每个细节

为了理解MeshSplat成功的关键因素,研究团队进行了详细的消融实验,就像是医生通过解剖来理解人体各个器官的功能。这些实验通过逐步移除或替换系统的各个组件,来评估每个部分对最终性能的贡献。

首先是2D高斯散点与3D高斯散点的对比。实验结果清楚地显示了2D高斯散点在表面重建任务中的优势。当使用3D高斯散点时,倒角距离为0.3748,而切换到2D高斯散点后,这个数值立即降低到0.2948。这个差异就像是用正确的工具和错误的工具干活的区别,2D高斯散点天生更适合表示薄表面结构。

加权倒角距离损失的效果同样显著。在移除这个组件后,倒角距离从0.2642上升到0.2769,看似变化不大,但在3D重建领域,这种程度的改善已经相当可观。更重要的是,定性结果显示,没有加权约束的版本在某些区域会出现明显的几何错误,特别是在纹理较少的平坦表面。

法向预测网络的贡献最为突出。完整的系统达到0.2606的倒角距离,而移除法向预测网络后这个数值跃升至0.2769。从视觉效果来看,差异更加明显。没有法向预测网络的版本重建出的表面往往扭曲变形,特别是在墙面和地面的交界处会出现不自然的弯曲。

研究团队还专门分析了高斯法向的渲染质量。他们发现,2D高斯散点在没有正确法向监督的情况下,其法向预测会出现严重偏差,导致表面看起来凹凸不平。而在引入法向预测网络后,渲染出的法向图变得平滑连贯,更接近真实表面的法向分布。

深度和法向预测质量的定量评估进一步证实了系统的有效性。在深度预测方面,MeshSplat的绝对相对误差(AbsRel)为0.0910,显著优于MVSplat的0.1692。在法向预测方面,平均角度误差从57.16度降低到33.84度,30度以内准确率从13.57%提升到60.26%。

这些数字背后反映的是系统几何理解能力的根本性提升。更准确的深度预测意味着3D结构的位置更精确,而更准确的法向预测则意味着表面的方向理解更正确。两者结合起来,就能够重建出更加真实可信的3D模型。

六、技术细节与实现智慧

MeshSplat的成功不仅在于其创新的整体架构,更在于大量精心设计的技术细节。这些细节就像是一件精密仪器中的每个小零件,看似微不足道,但却对整体性能起着关键作用。

在网络架构设计方面,研究团队采用了与MVSplat相同的主干网络结构,确保了公平的比较基础。但在此基础上,他们新增了专门的法向预测分支。这个分支使用了10个卷积层的轻量级设计,既保证了预测精度,又避免了计算开销的大幅增加。网络能够同时预测三个不同尺度(1/4、1/2和全分辨率)的法向图,这种多尺度设计就像是用不同焦距的镜头拍照,能够捕获从全局结构到局部细节的各种信息。

成本体积的构建采用了128个深度候选,这个数量的选择经过了精心权衡。太少的深度候选会导致精度不足,太多则会增加计算复杂度。128这个数值在精度和效率之间找到了最佳平衡点,就像是调节相机的对焦精度,既要足够细致又不能过度复杂。

训练策略的设计同样体现了研究团队的深思熟虑。他们使用Adam优化器,最大学习率设置为2×10^-4,这个数值经过了大量实验验证。损失函数的权重设置也经过了精心调整:光度损失权重为1.0,加权倒角距离损失权重为5.0×10^-3,法向损失权重为5.0×10^-3。这些看似简单的数字实际上代表了不同损失项之间的精确平衡。

在不确定性引导采样中,研究团队设置β=0.7,意味着70%的采样点来自低置信度区域,30%来自随机采样。这种分配比例确保了训练过程既关注困难样本,又保持了整体的统计平衡。采样点数量设置为图像大小的40%,这个比例在计算效率和训练效果之间达到了理想的平衡。

模型的效率分析显示,MeshSplat相比MVSplat仅增加了约1.3M参数(从12.0M增加到13.3M),参数增量不到11%。在渲染时间方面,MeshSplat需要0.102秒,相比MVSplat的0.072秒仅增加了30毫秒,这个增加完全可以接受。相比之下,基于NeRF的方法如MVSNeRF需要0.76秒,SparseNeuS更是需要7.05秒,MeshSplat在保持高质量的同时实现了显著的效率提升。

数据处理方面,研究团队针对不同数据集采用了不同的策略。在Re10K上,输入图像裁剪为256×256分辨率,训练20万步,批大小为12。在ScanNet上,考虑到场景的复杂性,将分辨率提升到512×384,但减少训练步数到7.5万步,批大小降至4以适应GPU内存限制。这种灵活的参数调整策略确保了在不同数据集上都能获得最佳性能。

七、突破与局限:技术发展的双面性

MeshSplat技术虽然取得了显著突破,但研究团队也诚实地承认了当前技术的一些局限性。这种实事求是的态度反映了优秀研究者的科学精神,也为未来的改进指明了方向。

最主要的局限出现在弱纹理区域的处理上。当场景中存在大面积的单色墙面、光滑地板或者反光表面时,系统有时会预测出不连续的深度图。这个问题的根源在于特征匹配的天然局限性:在没有明显纹理特征的区域,即使是最先进的匹配算法也难以建立可靠的对应关系。这就像是在一张白纸上找参照点,无论怎么努力都很难确定精确位置。

虽然系统渲染的RGB图像在这些区域看起来仍然很真实,但底层的几何结构可能存在一定程度的不准确性。这种现象在室内场景中特别常见,因为现代室内设计往往追求简洁的风格,大面积使用单一颜色的材料。

另一个重要局限是系统无法重建输入视角看不到的区域。这个限制是所有基于视觉的重建方法都面临的共同挑战,就像是盲人摸象,永远无法感知到没有接触的部分。在实际应用中,这意味着房间的背面、家具的内部等区域无法被准确重建。

研究团队提出,未来可能需要引入生成式方法来解决这个问题。这种思路就像是让系统不仅能"看",还能"想象",基于已有经验推断出看不见的部分应该是什么样子。这个方向虽然充满挑战,但也蕴含着巨大的潜力。

尽管存在这些局限,MeshSplat在稀疏视角表面重建领域仍然实现了显著突破。相比传统方法需要数十张图像才能获得可用结果,两张图像就能实现高质量重建已经是巨大进步。而且,系统的泛化能力使其能够处理训练时未见过的新场景,这对实际应用来说极其重要。

从技术发展趋势来看,MeshSplat代表了3D重建技术的一个重要发展方向。它成功地将2D高斯散点这一新兴表示方法应用到稀疏视角重建任务中,为后续研究开辟了新的道路。同时,其端到端的学习框架也为融合更多先验知识和约束条件提供了灵活的平台。

更重要的是,这项技术的成功验证了一个重要观点:在数据稀缺的情况下,巧妙的网络设计和合适的几何约束比简单的堆叠更多数据更有效。这个启示对整个3D视觉领域都具有重要意义,可能会影响未来相关技术的发展方向。

八、实际应用前景:从实验室走向生活

MeshSplat技术的突破不仅具有学术价值,更重要的是它为众多实际应用场景打开了新的可能性。这些应用场景涵盖了从个人娱乐到专业服务的各个层面,有望在不久的将来改变我们与3D世界互动的方式。

在房地产领域,这项技术可能会彻底改变房屋展示的方式。传统的房产展示需要专业摄影师从多个角度拍摄大量照片,或者使用昂贵的3D扫描设备。而有了MeshSplat,房产中介只需要用普通智能手机拍摄两张照片,就能生成完整的3D房屋模型。潜在买家可以在电脑前"走进"房屋,从任意角度观察房间布局,这种体验远比传统的平面照片更加直观真实。

电商领域同样有望受益匪浅。网购时最大的困扰就是无法真实感受商品的立体效果,特别是家具、装饰品这类对空间感要求较高的商品。MeshSplat技术使得商家可以用最低的成本创建商品的3D模型,消费者可以将虚拟家具"摆放"在自己家中,直观地评估尺寸、颜色和风格的匹配程度。

在文化遗产保护方面,这项技术的价值可能更加深远。许多珍贵的历史文物和建筑由于保护需要,无法让公众近距离接触。传统的3D数字化保护需要昂贵的专业设备和复杂的操作流程。MeshSplat技术的简单易用特性使得文物保护工作者可以用更低的成本、更高的效率完成数字化建档工作。同时,生成的3D模型可以用于虚拟博物馆、教育展示等用途,让更多人能够"触摸"到历史。

对于建筑和室内设计行业,这项技术提供了全新的设计验证工具。设计师可以快速将设计草图转换为3D模型,客户可以在虚拟环境中体验设计效果,提前发现问题并进行调整。这种快速原型制作能力大大缩短了设计迭代周期,提高了设计质量和客户满意度。

在增强现实(AR)和虚拟现实(VR)领域,MeshSplat为内容创作提供了强大工具。传统的AR/VR内容制作需要专业的3D建模师花费大量时间创建虚拟场景。而现在,普通用户只需要拍摄两张照片,就能将真实环境快速转换为虚拟场景,为AR/VR应用的普及扫清了重要障碍。

教育领域的应用潜力也不容忽视。在几何学、建筑学、艺术史等课程中,3D模型是重要的教学工具。MeshSplat技术使得教师可以轻松创建各种3D教学素材,学生也可以通过拍摄身边的物体来理解空间几何概念。这种互动式学习方式比传统的平面教材更加生动有趣,有助于提高学习效果。

当然,技术的广泛应用还需要时间。目前MeshSplat仍然需要一定的计算资源,在普通移动设备上的实时运行还有待优化。但随着移动芯片性能的不断提升和算法的进一步优化,这些限制有望在未来几年内得到解决。

九、技术演进的深层意义

MeshSplat技术的出现不仅仅是一个孤立的技术突破,它实际上反映了整个3D视觉领域发展的几个重要趋势,这些趋势可能会深刻影响未来技术的发展方向。

首先是从"数据驱动"到"知识引导"的转变。早期的3D重建方法往往依赖于大量的输入数据来弥补算法的不足,这就像是用"人海战术"解决问题。而MeshSplat成功地证明了,通过引入合适的几何先验知识和巧妙的网络设计,可以在数据极其稀少的情况下获得高质量结果。这种思路对于其他计算机视觉任务也具有重要启发意义。

其次是表示方法的创新带来的连锁反应。2D高斯散点这种表示方法的成功应用,展示了选择合适的数据表示对算法性能的重要影响。这提醒研究者们,有时候解决问题的关键不是设计更复杂的算法,而是找到更适合问题本质的表示方法。这种思维方式可能会催生更多创新的几何表示方法。

第三是端到端学习范式在3D视觉中的深入应用。MeshSplat展示了如何将传统的多步骤处理流程整合为一个统一的学习框架,这种整合不仅提高了效率,还使得各个组件能够协同优化,获得更好的整体性能。这种思路正在成为现代计算机视觉系统设计的主流方向。

不确定性建模的重要性也在这项工作中得到了很好的体现。通过引入kappa参数来量化预测的不确定性,系统能够更智能地处理困难样本,这种"知道自己不知道什么"的能力对于构建可靠的AI系统至关重要。随着AI技术在更多关键应用中的部署,不确定性建模将变得越来越重要。

从更宏观的角度看,MeshSplat代表了3D视觉技术民主化的重要一步。传统的3D重建技术往往需要专业设备和专业技能,普通用户很难接触和使用。而基于少量普通照片的重建技术大大降低了使用门槛,使得3D内容创作不再是专业人士的专利。这种技术民主化趋势可能会催生全新的应用模式和商业生态。

此外,这项工作还展示了学术研究与实际应用需求结合的重要性。研究团队选择稀疏视角重建这个问题,正是因为它符合现实世界的使用场景。这种问题导向的研究方式比单纯追求理论创新更容易产生实际影响,也更容易获得产业界的认可和支持。

最后,MeshSplat的成功也反映了跨学科融合的价值。这项工作结合了计算机图形学中的几何表示方法、计算机视觉中的深度学习技术、以及数值优化中的不确定性建模方法。这种跨学科的融合往往能够产生单一学科难以达到的突破性成果。

说到底,这项由中科大团队完成的研究不仅解决了一个具体的技术问题,更重要的是为我们展示了AI技术发展的一种新模式:用更少的数据做更多的事情,用更巧妙的方法解决更复杂的问题。在AI技术日益成熟的今天,这种"四两拨千斤"的智慧可能比单纯的算力提升更有价值。正如研究团队在论文中提到的,未来的工作可能会探索更高效的网络架构来进一步提升2D高斯散点预测的精度,这个方向充满了无限可能。对于那些希望深入了解技术细节的读者,完整的研究论文可以通过arXiv:2508.17811获取,项目主页https://hanzhichang.github.io/meshsplat_web/也提供了更多的演示资料。

Q&A

Q1:MeshSplat技术是什么?它能做什么?

A:MeshSplat是由中科大团队开发的3D重建技术,它的核心能力是仅用两张不同角度的照片就能生成完整的3D场景模型。这项技术特别适合重建室内场景,比如房间、办公室等,生成的3D模型可以用于虚拟现实、房产展示、电商等多个领域。

Q2:MeshSplat相比传统3D重建技术有什么优势?

A:传统方法通常需要几十张照片才能重建出质量尚可的3D模型,而且经常出现破洞、表面不平等问题。MeshSplat只需要两张照片就能生成高质量、表面平滑的3D模型,重建精度比现有最好的方法提升了约30%,同时保持了很快的处理速度。

Q3:普通人能使用MeshSplat技术吗?有什么限制?

A:目前MeshSplat还是一个研究阶段的技术,需要一定的计算资源运行,主要在实验室环境中使用。不过随着技术优化和硬件发展,未来很可能会集成到手机APP中。当前的主要限制是在处理纯色墙面等缺乏纹理的区域时精度会有所下降,而且无法重建照片中看不到的区域。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
难以置信!网传武汉明星见面会安保岗,有人炫耀日结4小时80元,还包一份工作餐,网友:来回通勤3小时,卷得我一个农村人都看不下去了

难以置信!网传武汉明星见面会安保岗,有人炫耀日结4小时80元,还包一份工作餐,网友:来回通勤3小时,卷得我一个农村人都看不下去了

火山詩话
2026-10-19 10:42:39
内塔尼亚胡表示,在俄罗斯Yandex遭打击后,针对以色列的在线活动消失了

内塔尼亚胡表示,在俄罗斯Yandex遭打击后,针对以色列的在线活动消失了

山河路口
2026-10-19 13:03:20
辣妈的白泳装,不看脸就是少女!

辣妈的白泳装,不看脸就是少女!

穿的像个人样
2026-10-17 08:31:55
人民日报:机关事业单位工作隐性收入减少,引人共鸣!

人民日报:机关事业单位工作隐性收入减少,引人共鸣!

职场资深秘书
2026-10-15 20:51:13
中国大陆首次发现,广西深山现"日本独有兰",来源至今难解

中国大陆首次发现,广西深山现"日本独有兰",来源至今难解

万象硬核本尊
2026-10-19 15:05:04
“反华妖女”许可馨,回国后曾叫嚣没人敢动她,六年后下场如何?

“反华妖女”许可馨,回国后曾叫嚣没人敢动她,六年后下场如何?

锅锅爱历史
2026-07-26 08:50:12
17-0惨案!U17女足世界杯:美国队杀疯,积分榜有变,中国降至第2

17-0惨案!U17女足世界杯:美国队杀疯,积分榜有变,中国降至第2

大秦壁虎白话体育
2026-10-20 06:41:39
中超或上演“神剧情”?假如大连英博夺冠,对中国足球更有意义

中超或上演“神剧情”?假如大连英博夺冠,对中国足球更有意义

汪星人哟
2026-10-19 15:46:59
贵州省公安厅党委委员、副厅长吴智贤被查

贵州省公安厅党委委员、副厅长吴智贤被查

新京报
2026-10-20 10:47:19
特朗普知道自己必败,心情不好的他找人撒气,白宫上下都逃不过

特朗普知道自己必败,心情不好的他找人撒气,白宫上下都逃不过

介知
2026-10-20 06:55:34
大难临头各自飞!徐佳宁刚被执行2111万,李小冉就和他划清界限

大难临头各自飞!徐佳宁刚被执行2111万,李小冉就和他划清界限

老好人的愤怒
2026-10-20 10:10:10
核反应堆小如高压锅!劳斯莱斯发布微型核反应堆,有什么用处?

核反应堆小如高压锅!劳斯莱斯发布微型核反应堆,有什么用处?

抽象派大师
2026-10-19 07:12:42
注意!退休人员的取暖补贴,今年发放有变化,两类人不能领

注意!退休人员的取暖补贴,今年发放有变化,两类人不能领

找回密码
2026-10-19 09:56:31
门口放两样东西,再穷也能翻身!不是迷信是真本事

门口放两样东西,再穷也能翻身!不是迷信是真本事

娱乐圈见解说
2026-10-18 06:34:41
乌镇偶遇戚薇李承铉,她们的大女儿Lucky长得真好看,小的时候像妈妈,现在像爸爸

乌镇偶遇戚薇李承铉,她们的大女儿Lucky长得真好看,小的时候像妈妈,现在像爸爸

手工制作阿歼
2026-10-19 16:33:09
别等失去了才后悔。 厦门小伙暗恋高一班主任多年,大学毕业后果断追娶回家,祝有情人终成眷属

别等失去了才后悔。 厦门小伙暗恋高一班主任多年,大学毕业后果断追娶回家,祝有情人终成眷属

捣蛋窝
2026-10-03 09:50:51
9月居民贷款诡异的归零,房价的玩笑这次开大了

9月居民贷款诡异的归零,房价的玩笑这次开大了

重远投资观
2026-10-18 17:08:58
华为新品突然公布,采用新配色,即将上市

华为新品突然公布,采用新配色,即将上市

科技堡垒
2026-10-19 11:38:24
1129.99美元降到39.97,微软这款专业软件终身授权打折

1129.99美元降到39.97,微软这款专业软件终身授权打折

薛定谔的BUG
2026-10-19 06:14:55
A股:刚刚,吴清、潘功胜发表重磅演讲!明日周二将迎来新的变化

A股:刚刚,吴清、潘功胜发表重磅演讲!明日周二将迎来新的变化

虎哥闲聊
2026-10-20 00:00:04
2026-10-20 11:27:00
至顶AI实验室 incentive-icons
至顶AI实验室
一个专注于探索生成式AI前沿技术及其应用的实验室。
3532文章数 186关注度
往期回顾 全部

科技要闻

新版MiniMax,能和DeepSeek掰手腕吗?

头条要闻

上周黄奇帆等两"虎"落马 4名省部级干部被处理

头条要闻

上周黄奇帆等两"虎"落马 4名省部级干部被处理

体育要闻

从NBA退役10年后,他真去警局上班了

娱乐要闻

港媒曝刘恺威与32岁黎纪君恋情,秘密恋爱两个月

财经要闻

宁德时代的大时代结束了吗?

汽车要闻

方盒子家族再添新成员 捷途自由者7实车体验

态度原创

亲子
游戏
艺术
手机
公开课

亲子要闻

一次性看完母乳的形成过程,看完感叹女性的伟大

《使命召唤:现代战争4》首更后玩家无法载入战役

艺术要闻

俄罗斯90后摄影师比莉娅娃英这组写真,看完我直接跪了!最后一张绝了!

手机要闻

酷派首款阔直板手机Cool X Wide开启预约:6.38英寸16:10屏幕

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版