PickStyle指南：用上下文风格适配器实现视频风格转换

PICKSTYLE 是一个基于 VACE 架构的视频风格迁移框架，它配备了上下文风格适配器和创新的 CS-CFG 机制。

利用扩散模型进行视频风格迁移，旨在保留原始视频内容的同时渲染成指定风格，但面临缺乏配对视频数据监督的难题。为此，论文提出 PickStyle 框架，通过风格适配器增强预训练网络，依靠配对静态图像数据训练，还通过构建合成训练片段弥补差距，并引入 CS-CFG 确保风格迁移与内容保留。实验表明，该方法能实现优质视频转换，优于现有方法。

相关链接

论文介绍

利用扩散模型解决视频风格迁移任务，其目标是在保留输入视频上下文的同时，将其渲染成文本提示指定的目标风格。一个主要的挑战是缺乏用于监督的配对视频数据。

论文提出的 PickStyle 是一个视频到视频的风格迁移框架，它使用风格适配器增强预训练的视频扩散主干网络，并利用具有源-风格对应关系的配对静态图像数据进行训练。PickStyle 将低秩适配器插入条件模块的自注意力层，从而实现运动-风格迁移的高效特化，同时保持视频内容和风格之间的高度一致性。

为了弥合静态图像监督和动态视频之间的差距，通过应用模拟摄像机运动的共享增强技术，从配对图像构建合成训练片段，确保保留时间先验。此外，我们引入了上下文-风格无分类器引导（CS-CFG），这是一种将无分类器引导分解为独立文本（风格）和视频（上下文）方向的新颖方法。CS-CFG 确保生成的视频在有效迁移风格的同时保留上下文。跨基准测试的实验表明，该方法实现了时间连贯、风格忠实且内容保留的视频转换，在质量和数量上均超越现有基准方法。

方法概述

PickStyle 的训练和推理流程。在训练过程中（左图），风格图像和上下文图像均通过运动增强技术转换为具有合成摄像机运动的视频标记和上下文标记；基于 DiT 的 PickStyle 模型结合上下文风格适配器，根据上下文标记对视频标记进行加噪和去噪。在推理过程中（右图），对上下文视频和风格描述进行编码，并在文本、上下文和空值条件下进行迭代去噪，其中提出的 CS-CFG 对空值上下文应用时空置换，以生成最终的风格化视频。

实验结果

乐高和动漫风格中 PICKSTYLE、Control-a-Video、Rerender、FRESCO 和 FLATTEN 的定性比较。

结论

PICKSTYLE 是一个基于 VACE 构建的视频到视频风格迁移框架，它配备了上下文风格适配器和新颖的 CS-CFG 机制。尽管训练数据集相对有限，PICKSTYLE 仍能在渲染多样化目标风格的同时有效地保留运动和上下文。通过利用合成运动增强训练对和噪声初始化策略，它实现了优于现有方法的卓越风格保真度、时间稳定性和感知质量。除了量化改进之外，PICKSTYLE 还能在不同风格中始终如一地呈现连贯的色彩再现和忠实的几何图形，同时避免了基于图像的方法中常见的时间闪烁和混合伪影。这些结果表明，即使在受限监督下，PICKSTYLE 也能提供高质量的风格迁移，并为未来可控视频风格化的研究奠定坚实的基础。