小红书开源InstanceAssemble：让AI精准还原复杂图像排版

IT之家 12 月 26 日消息，小红书携手复旦大学，联合推出布局控制生成（Layout-to-Image）领域的突破性方案 InstanceAssemble，通过创新“实例组装注意力”机制，实现了从简单到复杂、稀疏到密集布局的精准图像生成，相关成果已被 NeurIPS 2025 收录。

AI 绘画技术近年来快速发展，从最初的“文字生成图像”（Text-to-Image）逐步迈向“布局控制生成”（Layout-to-Image），后者会根据用户给定的空间布局约束（如边界框 Bounding Boxes、分割掩码 Masks 或骨架图）生成与之对应的图像。

“布局控制生成”技术的难点之一，就是如何让 AI 精确按照用户指定的位置和内容生成图像，面临布局对齐不准、语义脱节或计算成本过高的问题。

而复旦大学与小红书联合发布的 InstanceAssemble 新技术，成功实现了对图像中每个物体的精准布局控制，标志着 AI 绘画进入“可精准构图”的新阶段。

该技术基于当前主流的扩散变换器架构，创新性地提出了“实例拼装注意力”机制。用户只需提供每个物体的边界框位置和内容描述，AI 就能在对应位置生成符合语义的图像内容。无论是简单的几个物体，还是密集复杂的场景，InstanceAssemble 都能保持高精度的布局对齐和语义一致性。

值得一提的是，该技术还采用轻量级适配方式降低使用门槛，无需重新训练整个模型，仅通过约 7100 万个参数（约 3.46% 额外参数），就能适配 Stable Diffusion3-Medium 模型，而适配 Flux.1 模型更是低至 0.84%。

实验中，InstanceAssemble 在包含 90 万个实例的密集布局数据集上表现优异，大幅超越了现有方法。

研究团队为能更准确地衡量布局与图像的匹配程度，还创建了包含 5000 张图像和 90000 个实例的“Denselayout”基准测试集，以及全新的“Layout Grounding Score”（LGS）评估指标。

实验表明，InstanceAssemble 在各种布局条件下均表现优异，即使在训练时仅使用稀疏布局（≤10 个实例）的情况下，也能在密集布局（≥10 个实例）上保持稳健性能。

这项技术已开源，代码和预训练模型可在 GitHub 获取，为设计、广告和内容创作等领域的应用提供了强大支持。

IT之家附上参考地址