面包屑图标 当前位置: 首页
AI资讯
热点详情

万相Wan2.1-VACE-Plus视频编辑模型:收费标准与限流规则同步调用Demo

AI热点日报
AI热点日报时间:2026-07-18
热点解读

阿里云万相Wan2 1VACE视频编辑模型支持多图参考、姿态参考与深度参考三大核心能力,可实现局部编辑、视频重绘、背景扩展等功能,通过工作流搭建与测试案例展示了细节还原与动态控制的潜力。

阿里云万相Wan2.1 VACE模型,最近在视频编辑领域确实引起了不少关注。它支持的功能相当全面——从局部编辑、视频重绘,到背景扩展、时长延展,甚至多模态条件控制,都能搞定。简单来说,就是文本、图像、视频这些输入方式,它都能接得住。下面我们就来系统拆解一下它的三大核心能力:多图参考、姿态参考与深度参考,看看具体的工作流是怎么搭建的。

核心概念

先聊聊“多图参考”。这个概念很直观,就是在生成或处理视频时,模型能同时参考好几张输入图片的内容信息,然后把它们融合到同一条视频里去。这种能力在电商展示、艺术创作等场景里,应用价值非常高。

整个工作流,其实可以拆解为三个区域:中心的基础框架、前端的输入模块,以及末端的视频放大模块。

  • 中心区域的Wan2.1 VACE工作流,本质上是在Wan2.1文生视频工作流的基础上,增加了VACE的模型加载和编码器。
  • 在前端输入区域,因为涉及多张图片参考,所以每张图像的加载,都对应着尺寸调整、去除背景等预处理节点。
  • 最后,将处理好的图片进行联结、编码,再送入采样器采样、解码,最终输出视频。

Wan2.1 VACE工作流的基本框架搭建

采样器配置

首先,选择Wan视频采样器(WanVideo Sampler)并调整参数:步数(steps)设为20,cfg值设为6,shift值设为8,采样器(scheduler)选择dpm++。

在阿里云百炼平台API调用Wan模型,如下图:

模型加载选择

在model圆点下,拖出Wan视频模型加载器(WanVideo Model Loader),选择Wan2.1_T2V_14b模型。

接着,拖出Wan视频Block Swap节点(WanVideo Block Swap),参数保持默认。

在vace_model圆点下,拖出Wan视频VACE模型选择器(WanVideo VACE Module Select),选择核心模型Wan2_1_VACE_14b。

文本编码

回到Wan视频采样器,在text_embeds圆点下拖出Wan视频文本编码器(WanVideo TextEncode),随后在t5圆点下拖出Wan视频T5文本编码加载器(WanVideo T5 TextEncoder Loader),选择umt5_xxl_fp8_scaled模型。

加速与优化节点

在采样器里,再拖出几个加速生成和提升画质的节点:Wan视频Enhance-A-Video(WanVideo Enhance-A-Video)、Wan视频TeaCache(WanVideo TeaCache)、Wan视频SLG(WanVideo SLG)以及Wan视频Experimental Args(WanVideo Experimental Args)。

图像编码与解码

在image_embeds圆点下,拖出Wan视频VACE编码器(WanVideo VACE Encode)节点。在VAE圆点下,拖出Wan视频VAE加载器(WanVideo VAE Loader),选择Wan2_1_VAE_bf16模型。

最后,在samples圆点下拖出Wan视频解码器(WanVideo VACE Decode)节点,并将vae圆点连接起来。

输出处理

在Wan视频解码器节点之后,拖出视频合并(Video Combine)节点,帧数保持16,输出格式选择video/h264-mp4。

至此,Wan2.1 VACE工作流的基本框架就搭建完成了。后续所有基于Wan2.1 VACE的工作流,都会从这个框架衍生出来。

多图参考工作流搭建

多图输入模块构建

接下来,我们来构建多图参考的前期输入模块。创建一个加载图片(Load Image)节点,在IMAGE圆点下拖出调整图片尺寸(Resize Image v2)节点。参数设置:宽度(width)设为480,高度(height)保持720,upscale_method选择lanczos。

然后在这个节点后拖出图像背景移除(Image Remove Bg)节点。将这三个节点复制一份,主图的rem_mode模式选择Inspyrenet。

接着,加载一个图像联结(Image Concatenate)节点,将两张图联结,方向(direction)保持右侧(right)。

在图像联结节点的IMAGE圆点下,拖出一个Get Image Size&Count节点,方便统一处理图片尺寸。

还可以加载一个图像预览(Preview Image)节点,方便查看合并效果。

最后,将处理后的图像接入Wan视频VACE编码器(WanVideo VACE Encode)节点下的ref_images圆点,作为参考图,同时将宽(width)和高(height)也连接起来。

在空白区域再创建一个图像联结(Image Concatenate)节点,将解码后的图像与前期预处理图像联结,再传入复制的视频合并(Video Combine)节点。这样,就能方便地同时看到预处理效果和生成画面的整体效果了。

至此,Wan2.1 VACE多图参考的工作流就搭建完成了。

多图参考工作流测试案例

我们用两张图片来测试一下效果。希望主图中的红发女人能与副图中的水下金鱼场景融合。因为副图作为背景,不需要抠像,所以将副图的背景移除节点关闭,重新连接节点。复制负向提示词模板,输入正向提示词,点击运行。

可以看到,人物与背景得到了巧妙的融合,光影和场景细节的还原度相当高。

姿态参考与深度参考能力详解

核心原理

接着,再来看Wan2.1 VACE的姿态参考与深度参考工作流。

姿态参考和深度参考的原理,是通过openpose模型和深度预测算法,提取上传视频中的人物骨骼点或画面深度图,再结合提示词语义,控制最终输出视频的画面效果。因此,这两个工作流最核心的节点就是OpenPose节点与Depth Anything节点。下面就来一起搭建这套工作流。

姿态参考与深度参考工作流搭建

基础框架复用

先导入一个Wan2.1 VACE的基础框架工作流。

视频输入

双击空白处,创建一个加载视频【Load Video(Upload)】节点,可以直接拖拽视频上传。然后在IMAGE圆点下拖出Image Resize节点,调整宽(width)为480,高(height)为720,interpolation参数选择nearest。

控制节点

接着,拖出OpenPose Pose节点,这个节点用于提取视频中的人物骨骼信息。

同样的,还可以拖出Depth Anything节点,用于提取视频的画面深度信息。

通过图像混合(Image Blend)节点将两个节点混合。这个节点就像一个开关:当选择0时,对应OpenPose模型;选择1时,则切换为Depth模型。

数据传输

在图像混合(Image Blend)节点下的IMAGE圆点拖出Get Image Size&Count节点,和多图参考工作流一样,将图像及尺寸传输进Wan视频VACE编码器(WanVideo VACE Encode)节点。

双击空白处,创建加载图像【Load Image(Path)】节点,随后拖出调整图像(Resize Image v2)节点,与Wan视频VACE编码器(WanVideo VACE Encode)节点的ref_images进行连接,作为视频的参考图。

同时,确保视频的尺寸与图像尺寸保持一致。

可视化对比

再次双击空白处,创建图像联结(Image Concatenate)节点,将上传的图像与解码后的视频联结。

再创建一个图像联结节点,将预处理的控制视频也联结过来。

最后与视频合并节点连接,这样就可以更直观地看到整个工作流各环节的输出结果了。

至此,整套工作流就搭建完成了。

姿态参考与深度参考测试案例

姿态参考测试

上传一张艺术感人物图像,用OpenPose模型来测试。希望图像中的人物能参考视频的动作起舞,输入提示词,点击运行。

可以看到,人物完美复刻了视频中的动作,效果非常不错,实现了精准响应。

深度参考测试

再上传一段场景丰富的滑雪视频,以及一张滑沙的图像。使用深度控制对视频进行控制,输入提示词,点击运行。

可以看到,滑沙的动作参考了滑雪者的运动感,背景处理也变得更加丰富。

这节课系统解析了Wan2.1 VACE模型的三大核心能力——多图参考、姿态参考与深度参考,展示了其在视频生成领域对细节还原与动态控制的强大潜力。大家可以移步到阿里云百炼平台测试。

热点追踪提示词
你是一名 AI 行业编辑,请围绕下面这条热点输出一份资讯解读:
热点:万相Wan2.1-VACE-Plus视频编辑模型:收费标准与限流规则同步调用Demo要求:
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题
来源:https://developer.aliyun.com/article/1748847
Plus

游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。

相关热点
AI热点2026-07-18 19:36
AI生成工作周报,高效节省时间

AI工具自动生成工作周报,基于真实活动记录精准梳理关键动作、会议及任务进展,支持个性化格式定制与一键共享,有效减少手动整理时间,助力个人工作者与远程团队高效协作。

AI热点2026-07-18 19:36
OneClickHuman一键让AI生成内容更人性化

什么是OneClickHuman?AI内容人性化处理工具 简单来说,OneClickHuman是一款专注于AI内容人性化处理的工具。只需将AI生成的文本输入其中,它便能自动调整风格,使其更像人类写作,同时保留原有排版结构并修正语法错误。从实际使用效果来看,其核心卖点在于“让AI内容成功通过AI检测”

AI热点2026-07-18 19:36
基于Google搜索结果对比的ChatGPT文本原创性检测工具

GPTCheck是一款浏览器插件,通过将选中文本与Google搜索结果进行句子级相似度比对,运用余弦相似度算法生成量化评分,从而辅助用户快速判断内容原创性,识别潜在抄袭或AI生成痕迹。

AI热点2026-07-18 19:36
Humbot AI 专业在线高效人工智能文本人性化处理工具

什么是Humbot? 简而言之,Humbot是一款免费的AI文本人性化工具,致力于将AI生成的内容转化为自然流畅、近乎人类书写且能规避各类AI检测系统的文本。它基于先进的大型语言模型(LLMs)技术,确保改写后的文本保持原意、语法正确,同时读起来毫无机器痕迹。其核心目标就是:让改写后的内容在Orig

延伸阅读