小红书开源InstanceAssemble：精准还原复杂图像排版的AI方案

12月26日，小红书联合复旦大学发布了在布局控制生成（Layout-to-Image）领域的一项突破性解决方案——InstanceAssemble。该方案通过创新的“实例组装注意力”机制，成功实现了从简单到复杂、从稀疏到密集布局的精准图像生成。这项研究成果已被NeurIPS 2025接收。

近年来，AI绘画技术发展迅猛，从最初的“文字生成图像”逐步迈向“布局控制生成”。后者能够依据用户给出的空间布局约束，生成与之对应的图像。

“布局控制生成”技术的难点之一，在于如何让AI精准地按照用户指定的位置和内容生成图像，常常面临布局对不齐、语义脱节或计算成本过高等问题。

而复旦大学与小红书联合发布的InstanceAssemble新技术，成功实现了对图像中每个物体的精准布局控制，标志着AI绘画进入了“可精准构图”的新阶段。

该技术基于当前主流的扩散变换器架构，创造性地提出了“实例拼装注意力”机制。用户只需提供每个物体的边界框位置和内容描述，AI就能在对应位置生成符合语义的图像内容。无论是简单的几个物体，还是密集复杂的场景，InstanceAssemble都能保持高精度的布局对齐和语义一致性。

值得一提的是，该技术还采用轻量级适配方式降低使用门槛。无需重新训练整个模型，仅通过约7100万个参数，就能适配Stable Diffusion3-Medium模型，而适配Flux.1模型更是低至0.84%。

实验中，InstanceAssemble在包含90万个实例的密集布局数据集上表现优异，大幅超越了现有方法。

研究团队为了能更准确地衡量布局与图像的匹配程度，还创建了包含5000张图像和90000个实例的“Denselayout”基准测试集，以及全新的“Layout Grounding Score”评估指标。

实验表明，InstanceAssemble在各种布局条件下均表现优异，即使在训练时仅使用稀疏布局的情况下，也能在密集布局上保持稳健性能。

这项技术已开源，代码和预训练模型可在GitHub获取，为设计、广告和内容创作等领域的应用提供了强大支持。

附上参考地址

小红书开源InstanceAssemble！轻量级布局可控生成框架，复杂多实例图像生成精度再突破

InstanceAssemble: Layout-Aware Image Generation via Instance Assembling Attention

InstanceAssemble GitHub