字节跳动DreaMontage发布：帧引导视频生成技术解析

字节跳动正式推出了名为DreaMontage的帧级引导式视频生成技术。这项技术的核心突破在于实现了“任意帧位置精准引导的一次性长视频生成”，能够高效构建出自然流畅的长镜头以及多层次场景转换。

https://www.php.cn/link/0580d4d230ff5956f79a7c9540f04292

DreaMontage的主要能力亮点：

• 关键帧灵活插值生成：用户可以在时间轴上任意位置设置图像关键帧，模型会自动合成严格匹配各关键帧内容的完整视频序列。
• 多段视频智能缝合：支持将多个独立视频片段无缝拼接，实现风格统一、运动连贯的主题跃迁或空间转场。
• 动态混合条件注入：允许在任意时间点嵌入静态图或动态片段，驱动模型生成逻辑自洽、过渡自然的连续视频。
• 终止帧定向生成：支持以指定图像为最终帧进行反向/正向推演视频，确保结尾画面精准可控。
• 原始视频延展增强：可在保留原始内容基础上，智能延伸时长并丰富画面细节与动作表现。

据悉，DreaMontage架构专为高度自由的帧级控制而生，能够融合多样化输入（如图像、视频片段、文本提示等），输出视觉连贯、艺术表现力强、时长可精准调控的单镜头高质量视频。

该技术通过三大关键技术路径解决行业瓶颈：

1. 在DiT（Diffusion Transformer）主干中嵌入轻量化中间条件注入模块。借助基于原始预训练数据的自适应微调策略，显著增强对任意插入帧的位置感知与内容响应能力。
2. 聚焦视觉真实感与电影化质感提升：构建高保真、高多样性视频训练数据集，并引入视觉表达专项监督微调（SFT）；针对主体运动合理性、跨帧一致性、转场平滑度等核心挑战，定制化设计DPO（Direct Preference Optimization）优化流程，大幅提高生成结果的稳定性与落地可用性。
3. 面向长视频生成需求，提出内存友好的分段自回归（SAR）推理范式。实测表明，该策略在不牺牲计算效率的前提下，稳定输出具备影院级观感、无断裂感的单镜头长视频，助力用户将零散影像素材升维为沉浸式叙事作品。

论文链接：https://www.php.cn/link/8005daff056ac11c0189ee7367161c6b

源码仓库：点击下载