一键用Dify豆包大模型搭建文生图文生视频Agent
利用Dify与豆包大模型搭建文生图 文生视频Agent,流程分三步:安装插件、申请大模型、配置Chatflow。需注意APIKey需重新生成而非使用默认值。提示词改写环节分别针对图片和视频设计结构化模板,最终实现输入创意直接生成图片或视频。
一键解锁AI创意魔法!教你用Dify+豆包大模型轻松搭建文生图/视频Agent,附详细避坑指南。
核心内容:
1. 插件安装与豆包大模型申请全流程
2. 文生图/视频Agent的完整配置步骤
3. 提示词改写技巧与实战演示
摘要:我们经常在小红书上看到各种图片和视频,其实有部分是大模型生成的。本文介绍如何利用Dify与豆包生成大模型构建文生图片/文生视频的Agent,全程实操演示,帮你避开那些常见的坑。
在开始之前,先把整套流程拆成三个关键环节:插件安装、大模型申请、流程配置。一步步走通,你会发现这事儿比想象中简单。
01 安装插件
流程配置前,先搞定豆包文生图片和文生视频的插件。安装方法如下:
在Dify的插件市场,搜索“文生图片”,会看到doubao image…,点击安装即可。有了这些插件,用Dify开发Agent就顺手多了。
安装完成后,在Dify的开发界面中检查一下:
任意打开一个编排工具,添加节点,选择“工具”,如果能看到截图中的工具,说明安装成功。
02 申请大模型
本文使用火山引擎的文生图片和文生视频大模型进行测试,当然你也可以用其他模型。
注册火山引擎账号后,登录到开通管理界面,链接如下:
https://console.volcengine.com/ark/region:ark+cn-beijing/openManagement?LLM=%7B%7D&OpenTokenDrawer=false&tab=ComputerVision
点击“开通服务”,文生图模型就开通了。这个模型其实也能做文生视频和图生视频,默认有200次试用机会。
开通完成后,点击“接入文档”获取API Key:
进入API Key管理页面,注意不要用它默认的Key——需要重新生成一个,默认的Key使用起来会有问题(这是个坑)。
创建完成后,复制这个API Key,然后绑定到插件中。
将API Key填入后点击保存,显示“已授权”即为成功。
接下来可以先创建一个Agent测试一下插件功能,验证是否通畅。
至此,插件安装成功,大模型也调用成功。接下来配置一个Chatflow,实现文生图或文生视频。
03 配置流程
首先选择Chatflow,创建一个空白的Chatflow。
然后按照如下流程配置:
总体流程说明:
1. 开始:有三个入参——prompt、type、picture。
2. 根据开始进行条件分类,分为文生图片、文生视频、图片生成视频。
3. 文生图片和文生视频都需要进行提示词改写。
4. 接入豆包的文生图片、文生视频、图片生成视频插件。
5. 其中文生视频的视频内容需要额外提取一下。
6. 返回展示结果。
下面详细说明各组件配置:
1. 开始组件
新增三个变量:
2. 条件分类组件
3. 文生图片提示词改写组件
系统提示词为:
# Role: 即梦AI文生图结构化提示词生成器 (Jmeng AI Image Structured Prompt Generator) ## Background: - 这是一个专门为即梦AI生成静态图像提示词的工具 - 将用户的画面创意转换为结构化提示词 - 输出格式固定且简洁 ## Core Objectives: - 将用户输入的画面创意转换为结构化提示词 - 确保输出格式统一且易于使用 - 提供丰富且具体的画面描述 ## Constraints: 1. 输出格式必须严格遵循:``` 画面主体:[内容] 场景描述:[内容] 风格关键词:[内容] 细节修饰:[内容] ``` 2. 禁止输出任何额外的文字说明或格式 3. 各字段之间使用空格分隔 4. 直接输出结果,不进行对话 ## Skills: 1. 静态构图能力:准确描述主体位置、定义姿态和表情、把握画面重点 2. 场景描写能力:营造环境氛围、描述天气光线、构建空间感 3. 风格定义能力:应用艺术流派、把控色彩风格、确定渲染技术 4. 细节补充能力:添加画质要素、强化材质表现、突出关键特征 ## Workflow: 1. 接收用户输入的画面创意 2. 将创意拆解为四个维度 3. 组合成规定格式字符串 4. 直接输出结果 ## OutputFormat:``` 画面主体:[主体描述] 场景描述:[场景内容] 风格关键词:[风格定义] 细节修饰:[细节内容] ``` ## Init: 我已准备好接收您的画面创意,将直接输出符合格式的提示词。
用户提示词:
4. 文生视频提示词改写组件
系统提示词:
# Role: 即梦AI文生视频结构化提示词生成器 (Jmeng AI Video Structured Prompt Generator) ## Background: - 这是一个专门为即梦AI生成视频提示词的工具 - 将用户的视频创意转换为结构化提示词 - 输出格式固定且简洁 ## Core Objectives: - 将用户输入的视频创意转换为结构化提示词 - 确保输出格式统一且易于使用 - 提供丰富且具体的动态场景描述 ## Constraints: 1. 输出格式必须严格遵循:``` 画面主体:[内容] 动作描述:[内容] 场景描述:[内容] 风格关键词:[内容] 细节修饰:[内容] ``` 2. 禁止输出任何额外的文字说明或格式 3. 各字段之间使用空格分隔 4. 直接输出结果,不进行对话 ## Skills: 1. 动态构图能力:准确描述主体位置、定义动作流程、把握动态重点 2. 场景描写能力:营造环境氛围、描述天气光线、构建空间感 3. 风格定义能力:应用视频风格、把控色彩风格、确定渲染技术 4. 细节补充能力:添加动态要素、强化材质表现、突出关键特征 ## Workflow: 1. 接收用户输入的视频创意 2. 将创意拆解为五个维度 3. 组合成规定格式字符串 4. 直接输出结果 ## OutputFormat:``` 画面主体:[主体描述] 动作描述:[动作内容] 场景描述:[场景内容] 风格关键词:[风格定义] 细节修饰:[细节内容] ``` ## Init: 我已准备好接收您的视频创意,将直接输出符合格式的提示词。
用户提示词:
5. 文生图片、文生视频、图片生成视频组件配置
注意:这里的提示词采用提示词改写之后的文案。
注意:这里的提示词采用提示词改写之后的文案。
6. 视频提取组件配置
7. 三个回复组件配置
生成的图片是文生图片生成的文件。
生成的视频是提取之后的text内容。
生成的视频是图片生成视频的文件。
最后测试一下
好了,现在你可以去试一试了。
你是一名 AI 行业编辑,请围绕下面这条热点输出一份资讯解读:
热点:一键用Dify豆包大模型搭建文生图文生视频Agent要求:
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题
游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。
相关热点BlackInk AI 产品介绍:用人工智能轻松生成个性化纹身设计 一旦对纹身产生了想法,就很难止住冲动——但将脑海中的创意转化为纸上可以落针的图案,往往比想象中困难得多。BlackInk AI 正是为了解决这一痛点而生:它借助人工智能技术,帮助用户将灵感快速转化为可直接定稿的设计,整个过程仅需几秒
Ventoy是什么 谈到多系统启动盘制作,许多人第一时间想到的是反复格式化、切换工具、每换一个镜像就要重新制作一遍,过程相当繁琐。不过今天介绍的Ventoy,彻底颠覆了这一传统模式。作为一款开源启动盘制作工具,Ventoy专门用于创建可引导的USB驱动器,完整支持ISO、WIM、IMG、VHD(x)
智小象AI创作平台产品介绍 近年来,AI创作工具层出不穷,但能够兼顾易用性与全面功能的产品并不多见。智小象作为一款集文本生成、图像创作、视频制作于一体的AI创作平台,其核心理念十分直接:用户只需提供一个创意想法,平台便可将其转化为高质量的视觉作品。下面就来详细解析它的具体功能。 文生图片:只需输入简
ZelinAI 是一款备受关注的AI工具,它深度融合了多个大模型与小模型,覆盖从微软GPT系列到文心一言、甚至Midjourney绘图等主流能力。作为微软的官方合作伙伴,ZelinAI 提供了国内唯一合规的OpenAI接入方案。其最大亮点在于:即使毫无编程基础的用户,也能快速搭建属于自己的AI应用,
- 日榜
- 周榜
- 月榜
热点快看
