视频扩展：AI如何凭空补全画面边界

一句话解释

视频扩展是一种生成式AI技术，能根据已有视频画面的边缘和运动信息，智能“脑补”出画面之外的内容，让视频的视野变宽或补齐缺失的边界区域。

为什么会被关注

传统视频拍摄受限于镜头焦距和取景框，后期若需改变画幅比例或修补边缘抖动，往往成本高昂且容易失真。视频扩展能以较低成本自动生成合理的新画面，极大提升影视制作、短视频创作和虚拟现实的灵活性。

随着扩散模型在图像领域的成功，研究者开始将其延伸至视频域，视频扩展在时间一致性上的突破使其成为生成式AI落地影视行业的重要方向，吸引了Adobe、Meta等公司的投入。

核心逻辑

视频扩展的核心是时空建模：既要理解单帧图像的内容语义（如前景物体、背景纹理），又要捕捉帧与帧之间的运动轨迹（如物体位移、相机运动）。常见方案包括基于光流的显式运动估计和基于注意力机制的隐式时序建模。

最新方法多采用预训练的图像扩散模型（如Stable Diffusion）作为基础，通过引入时序层（如3D卷积或时序注意力）来保证连续帧之间的平滑过渡。同时，通过条件编码（如参考帧的边缘特征或运动向量）引导生成方向，避免出现闪烁或变形。

常见场景

影视后期：调整影片画幅比例（如从4:3扩展到16:9），无需重新拍摄；或者修补因稳定化算法而产生的画面边缘缺失。视频会议：自动扩展摄像头视角，使参会者背景更完整，或虚拟背景融合更自然。

虚拟现实与游戏：为全景视频补足边缘视野，减少拼接缝隙；在自动驾驶仿真中，利用视频扩展示例性的车辆周围环境变化，降低数据采集成本。

容易混淆的点

视频扩展 ≠ 视频补全。视频补全（Video Inpainting）是去掉画面内多余物体或修复破损区域，不改变画面边界；视频扩展则是向外生成新区域。两者技术思路相近但目标和输入输出不同。

视频扩展 ≠ 超分辨率。超分辨率是放大已有画面的细节，不增加可见范围；视频扩展增加的是信息量（新区域），而非像素密度。两者常结合使用，但属于不同任务。