广东
从单张图像生成组合式3D场景颇具挑战性，因为从部分视角捕获的空间线索有限。事实上，要准确推断出场景中每个实例的3D几何形状以及多个实例之间的空间关系，需要对3D视觉世界有广泛的先验知识。MIDI是一种新的从单张图像生成合成3D场景的范式。与现有的依赖于重建或检索技术的方法，或最近采用逐对象生成的多阶段方法不同，MIDI将预训练的图像到3D物体生成模型扩展到多实例扩散模型，使得能够同时生成多个3D实例，并保持准确的空间关系和高泛化能力。（链接在文章底部）
MIDI的核心包含一种新颖的多实例注意力机制，能够在生成过程中有效捕捉物体之间的相互作用和空间一致性，而无需复杂的多步骤过程。该方法利用部分物体图像和全局场景上下文作为输入，在3D生成过程中直接建模物体的完整性。
01 技术原理
给定一个场景的输入图像，将其分割成多个部分，并使用基于这些图像的多实例扩散模型生成该场景的组合3D实例。这些3D实例可以直接组成一个完整的场景，整个处理时间最快仅需40秒。
MIDI是一种多实例扩散模型，用于从单张图像生成组合3D场景实例。基于3D物体生成模型，MIDI通过一个共享权重的DiT模块同时去噪多个3D实例的潜在表示。引入了多实例注意力层，用于学习实例间的交互并实现全局感知，同时，跨注意力层将物体图像和全局场景上下文的信息进行整合。
现有的前馈重建方法通常生成不准确的几何形状和错位的场景布局，基于检索的方法生成的结果与输入图像对不准，且多阶段逐对象生成方法由于缺乏场景上下文约束，导致生成的实例无法与整体场景正确对齐。
相比之下，MIDI通过利用预训练的物体先验和多实例注意力机制，生成高质量的几何形状，并保持多个实例之间的准确空间配置。
跨实例交互：组合式3D实例生成要求生成的多个实例在3D空间中表现出交互关系。为了实现这一点，我们在降噪过程中引入了一种多实例注意力机制，该机制在降噪期间的潜在特征空间中建模跨实例交互。该机制的集成将多个物体的生成从独立过程转变为同步交互过程，增强了全局场景的一致性，并确保物体之间的空间关系得到准确表示。可以在线体验：
https://github.com/VAST-AI-Research/MIDI-3D
https://arxiv.org/pdf/2412.03558
https://huggingface.co/spaces/VAST-AI/MIDI-3D欢迎交流～，带你学习AI，了解AI
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
