开源InstanceAssemble：小红书让AI精准还原复杂图像排版

12月26日，IT之家从相关渠道获悉，小红书携手复旦大学，联合推出了一项在布局控制生成领域的突破性方案——InstanceAssemble。这项技术通过创新的“实例组装注意力”机制，成功实现了从简单到复杂、从稀疏到密集布局的精准图像生成。目前，这项研究成果已被人工智能顶级会议NeurIPS 2025收录。

近年来，AI绘画技术发展迅速，已经从最初的“文字生成图像”逐步迈向“布局控制生成”阶段。后者能依据用户设定的空间布局约束，生成与之精确对应的图像内容。

然而，“布局控制生成”技术面临着一个核心难点：如何让AI既精准地按照用户指定的位置和内容生成图像，又有效避免布局对不准、语义脱节或计算成本过高等问题。

此次复旦与小红书联合发布的InstanceAssemble新技术，成功实现了对图像中每个物体的精确布局控制，标志着AI绘画正式迈入了“可精准构图”的新阶段。

该技术基于当前主流的扩散变换器架构，开创性地提出了“实例拼装注意力”机制。用户只需提供每个物体的边界框位置和内容描述，AI就能在对应位置生成符合语义的图像内容。无论是简单的几个物体组合，还是密集复杂的场景构图，InstanceAssemble均能保持高精度的布局对齐与语义一致性。

值得一提的是，该技术还采用了轻量级适配方式来降低使用门槛，无需重新训练整个模型。其仅通过约7100万个参数，就能适配Stable Diffusion3-Medium模型；而对Flux.1模型的适配参数占比更是低至0.84%。

在实验中，InstanceAssemble在包含90万个实例的密集布局数据集上表现优异，大幅超越了现有方法。

为了更准确地衡量布局与图像的匹配程度，研究团队还创建了一个包含5000张图像和9万个实例的“Denselayout”基准测试集，并引入了全新的“Layout Grounding Score”评估指标。

实验结果表明，InstanceAssemble在各种布局条件下均表现领先。即使在训练时仅使用了稀疏布局的数据，在面对密集布局时，它也能展现出稳健的性能。

目前，该项技术已正式开源，相关代码和预训练模型均可在GitHub获取。这为设计、广告和内容创作等领域的应用落地，提供了强有力的技术支撑。