小红书开源InstanceAssemble：AI精准还原复杂图像排版

IT之家12月26日消息，小红书与复旦大学近期合作，共同推出了一项在布局控制生成（Layout-to-Image）领域的重要突破——InstanceAssemble方案。此项技术通过创新的“实例组装注意力”机制，能够精准地将从简单到复杂、从稀疏到密集的各类布局转化为逼真图像，其研究成果已被NeurIPS 2025收录。

近年来，AI绘图技术发展迅猛，已从最初的“文字生成图像”（Text-to-Image）逐步迈向“布局控制生成”（Layout-to-Image）的新阶段。后者能够根据用户设定的空间布局约束（如边界框、分割掩码或骨架图），生成与之精确对应的图像内容。

然而，“布局控制生成”技术面临的核心挑战在于，如何让AI精准地按照用户指定的位置和物体类别来生成图像，同时避免出现布局错位、语义脱节或计算成本过高等问题。

此次复旦大学与小红书联合发布的InstanceAssemble新技术，成功实现了对图像中每个物体的精细布局控制，标志着AI绘图正步入一个“可精准构图”的新时代。

该技术基于当前主流的扩散变换器（Diffusion Transformer）架构，创新性地提出了“实例组装注意力”机制。用户只需提供每个物体的边界框位置和语义描述，AI就能在对应的空间位置生成语义一致的图像内容。无论是仅包含少量物体的简单场景，还是物体密集、结构复杂的画面，InstanceAssemble都能保持高精度的布局对齐与语义一致性。

值得一提的是，该技术采用了一种轻量级的适配方式来降低使用门槛。它无需重新训练整个庞大的基础模型，仅需通过约7100万个适配参数（约占模型总参数的3.46%）就能适配Stable Diffusion3-Medium模型。而适配更先进的Flux.1模型时，所需额外参数比例更低，仅需约0.84%。

在实验中，InstanceAssemble在一个包含90万个实例的密集布局数据集上表现优异，其性能大幅超越了现有同类方法。

为了更准确地衡量布局与生成图像的匹配程度，研究团队还创建了一个包含5000张图像和9万个实例的“Denselayout”基准测试集，并提出了全新的“布局基础评分”（Layout Grounding Score, LGS）评估指标。

实验结果表明，InstanceAssemble在各种布局条件下均表现出色。即使在训练时仅使用稀疏布局（约10个实例）数据，它也能在处理密集布局（超过10个实例）时保持稳健的生成性能。

目前，这项技术已全面开源，相关代码和预训练模型均可在GitHub上获取。这为设计、广告、内容创作等领域的应用落地提供了强大的技术支持。

IT之家附上参考地址