TryOffDiff AI虚拟试脱 从照片中移除模特衣物

AI虚拟试穿技术已屡见不鲜，但反过来——从穿着衣物的人物照片中“剥离”出衣服，生成一张独立、标准化的商品级衣物图像，这一思路是否让你感到新奇？这正是虚拟试脱（VTOFF）的核心目标。与传统的虚拟试穿（VTON）将服装“穿”到模特身上不同，VTOFF致力于从单张输入图像中准确提取衣物的标准形态。看似简单，但要精准还原衣物的轮廓、纹理与复杂图案，技术挑战相当大。（项目官网与论文链接见文末，即将开源并开放在线体验。）

比勒费尔德大学研究团队提出了全新模型——TryOffDiff。该模型基于Stable Diffusion进行改进，引入SigLIP视觉条件，确保高保真度与细节保留。相比传统基于姿势转移或虚拟试穿的方法，TryOffDiff在生成质量上显著领先，且所需的预处理与后处理步骤大幅减少。VTOFF技术不仅能够优化电商平台的商品展示图像，还可推动生成模型的评估研究，为未来更高精度的图像重建奠定基础。

1. 技术原理

首先，我们需要厘清虚拟试穿与虚拟试脱之间的本质区别。

上方示意图：展示了传统虚拟试穿的典型流程——系统输入一张人物穿着衣物的参考照片，以及一件待试穿服装的图像，最终生成该人物穿上指定服装后的合成图像。

下方示意图：描绘了虚拟试脱的目标——从单张参考图像中预测出衣物的标准形态。换言之，并非为模特换上新的服装，而是从现有照片中将衣物“抽取”出来，以标准姿态、干净背景的形式单独呈现，便于展示衣物商品详情。

具体实现过程如下：首先，利用SigLIP图像编码器从参考图像中提取视觉特征。随后，这些特征经由适配模块进行进一步处理。接着，处理后的特征被注入预训练的文字转图像模型——Stable Diffusion-v1.4——中。关键步骤在于：用图像特征取代原有的文本特征，使其直接作用于交叉注意力层，从而引导生成过程。

通过采用图像特征（而非文本特征）作为条件，TryOffDiff能够针对虚拟试脱任务进行直接优化。适配层与扩散模型联合训练，使模型高效完成衣物提取任务。

为进行对比，研究者将现有多种最先进方法强行应用于VTOFF任务，以评估其表现：

• 左上（GAN-Pose）：基于姿势转移的方法。从左至右依次为：参考图像、经目标图像修正的姿势热图、初始模型输出、SAM提示、最终处理后输出。
• 右上（ViscoNet）：基于视角合成的方法。从左至右：遮罩条件图像、遮罩图像、姿势图像、带SAM提示的初始模型输出、最终处理后输出。

• 左下（OOTDiffusion）：一种较新的虚拟试穿方法。从左至右：遮罩衣物图像、模型图像、遮罩模型图像、带SAM提示的初始模型输出、最终处理后输出。
• 右下（CatVTON）：另一种虚拟试穿方法。从左至右：条件衣物图像、空白模型图像、遮罩图像、带SAM提示的初始模型输出、最终处理后输出。

对比结果一目了然：TryOffDiff在衣物细节保留与伪影抑制方面显著领先，且无需像其他方法那样依赖复杂后处理流程。

项目官方网站：https://riza velioglu.github.io/tryoffdiff
arXiv技术论文链接：https://arxiv.org/pdf/2411.18350

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：TryOffDiff AI虚拟试脱 从照片中移除模特衣物要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题