面包屑图标 当前位置: 首页
AI资讯
热点详情

DupDub全新音频AI插件正式登陆Dify市场 提供强大音频能力

AI热点日报
AI热点日报时间:2026-07-06
热点解读

DupDub 旗下的系列音频 AI 插件现已正式入驻 Dify Marketplace。借助本次集成,用户可在 Dify 平台中直接调用语音转写、语音克隆、说话人识别、文本转语音等前沿能力——这无疑为构建多模态 AI 应用开辟了更广阔的路径。 核心内容: 1 DupDub 音频 AI 插件与 Di

DupDub 旗下的系列音频 AI 插件现已正式入驻 Dify Marketplace。借助本次集成,用户可在 Dify 平台中直接调用语音转写、语音克隆、说话人识别、文本转语音等前沿能力——这无疑为构建多模态 AI 应用开辟了更广阔的路径。

核心内容:
1. DupDub 音频 AI 插件与 Dify 平台深度集成,提供语音转写、语音克隆等先进功能
2. Dify Marketplace 生态持续扩张,汇聚多种插件类型,加速 AI 解决方案的创新进程
3. DupDub 插件可在 Dify 工作流中轻松编排自动化任务,显著提升音频处理效率

DupDub 插件登陆 Dify Marketplace,带来强大的音频 AI 能力

Dify Marketplace:驱动 AI 创新的新引擎

自 Dify v1.0.0 发布以来,Marketplace 生态正快速壮大。目前汇聚的插件类型已覆盖模型(Models)、工具(Tools)、Agent 策略(Agent Strategies)、扩展(Extensions)及插件集(Bundles)。这些组件依托 Dify 开源 AI 应用开发平台,为开发者提供了加速创新、灵活扩展 AI 解决方案的便捷通路。模块化设计使得 DupDub 这类前沿工具能够顺畅接入,进一步增强了 Dify 社区的多模态能力。

DupDub 工具为 Dify 带来先进音频处理能力

借助 DupDub 插件,用户可以将高阶音频处理功能直接嵌入 Dify 的工作流程。以下是目前已上线的核心功能:

  • 语音转写(TranscribeSpeech):精准将音视频内容转换为文本,适用于内容分析、字幕生成、数据处理等场景,同时提升信息可访问性。
  • 语音克隆(Voice Cloning):从特定人的语音样本生成个性化声音,可用于品牌音色定制、个人助手定制或多语种内容配音等应用。
  • 说话人识别(Speaker Identification):通过 Get Speaker ID 工具识别音频中的不同说话人,在会议记录、客服通话或多人对话场景中尤为实用。
  • 文本转语音(Text-to-Speech,TTS)合成:使用 Speech Synthesis 工具将文本转化为自然语音输出,支持选择标准声音或克隆声音,并能调节语速和音调,打造高品质音频内容。

在 Dify 的可视化工作流中,这些功能可被轻松编排并实现自动化处理,大幅减少人工操作,提升整体效率。

如何在 Dify 中使用 DupDub 工具

下面简要介绍在 Dify 中配置与使用 DupDub 各项工具的方法。

TranscribeSpeech 工具

让工作流程具备语音转写能力,轻松将音视频内容转换为文本。

  1. 添加工具至工作流程:
    • 在左侧面板点击“Orchestrate”
    • 点选“Tools”,搜索“TranscribeSpeech”(归属 DupDub 插件)
    • 拖拽“TranscribeSpeech”工具至工作流程图中
  2. 配置 TranscribeSpeech 工具:
    • 将 START 节点与 TranscribeSpeech 节点相连
    • 填写必需的输入变量:
      • Duration(必填):输入视频/音频的时长
      • URL(必填):提供视频/音频文件的链接
      • Language(必填):指定内容语言(如 en 表示英文)
  3. 其他设置:
    • Retry on Failure(重试):可在发生错误时自动重试
    • Error Handling(异常处理):定义遇到错误时的处理策略
  4. 运行 & 发布:
    • 点击 Run 进行测试运行
    • 测试成功后,点击 Publish 完成部署

Voice Cloning 工具

为工作流程增添强大的语音克隆功能,实现精准且可定制化的音色复制。

  1. 添加工具至工作流程:
    • 在左侧面板点击“Orchestrate”
    • 在“Tools”中搜索“Voice Cloning”(归属 DupDub 插件)
    • 将“Voice Cloning”工具拖拽到工作流程中
  2. 配置 Voice Cloning 工具:
    • 将 START 节点与 Voice Cloning 节点相连
    • 填写必需的输入变量:
      • Speaker Name(必填):输入需要克隆的讲话者名称
      • URL(必填):提供对应的语音样本链接(支持 WAV、MP3、MP4 等格式)
      • Language(必填):指定语音样本所用的语言(如英文 en、中文 zh)
      • Gender(必填):说明讲话者性别(MALE 或 FEMALE)
      • Age(必填):说明讲话者的大致年龄段(Children、Youth、Adults、Seniors)
  3. 其他设置:
    • Retry on Failure(重试):在出现错误时自动重试
    • Error Handling(异常处理):选择错误发生时的处理方式
  4. 运行 & 发布:
    • 点击 Run 运行并开始语音克隆
    • 测试成功后,点击 Publish 完成部署

Get Speaker ID 工具

借助此工具可识别音频中的说话人身份,为更高级的音频处理与个性化应用奠定基础。

  1. 添加工具至工作流程:
    • 在左侧面板点击“Orchestrate”
    • 在“Tools”中搜索“Get Speaker ID”(归属 DupDub 插件)
    • 将“Get Speaker ID”工具拖拽到工作流程图中
  2. 配置 Get Speaker ID 工具:
    • 将 START 节点与 Get Speaker ID 节点相连
  3. 其他设置:
    • Retry on Failure(重试):在出现错误时自动重试
    • Error Handling(异常处理):定义遇到错误时的处理策略
  4. 运行 & 发布:
    • 点击 Run 执行流程并获取说话人 ID
    • 测试成功后,点击 Publish 完成部署

完成该流程后,即可在音频处理中准确区分不同说话者,使输出结果更加精准和个性化。

Speech Synthesis 工具

将文本转语音功能快速集成到工作流程,为用户生成高品质的定制化音频内容。

  1. 添加工具至工作流程:
    • 在左侧面板点击“Orchestrate”
    • 在“Tools”中搜索“Speech Synthesis”(归属 DupDub 插件)
    • 拖拽“Speech Synthesis”工具到工作流程中
  2. 配置 Speech Synthesis 工具:
    • 将 START 节点与 Speech Synthesis 节点相连
    • 填写必需的输入变量:
      • Speaker Name(必填):指定合成语音的讲话者名称
      • Speaker(必填):提供要使用的讲话者标识
      • Speed(可选):调整语速,默认正常速度(1.0)
      • Pitch(可选):调整音调,默认标准音调(0)
      • Text(必填):输入需要转为语音的文本内容
  3. 其他设置:
    • Retry on Failure(重试):在出现错误时是否自动重试
    • Error Handling(异常处理):指定错误管理方式
  4. 运行 & 发布:
    • 点击 Run 执行流程并将文本合成为语音
    • 测试成功后,点击 Publish 完成部署

应用场景示例

有了 DupDub 工具,Dify 用户可以实现的创意场景包括:

  • 多语言内容创作助手:先用 TranscribeSpeech 为视频生成字幕,再通过 Voice Cloning 和 Speech Synthesis 在 Dify 工作流中同步生成多语言自然配音,大幅提升内容的传播效果。
  • 增强的在线教育平台:使用 TranscribeSpeech 自动转写课程录音并生成可检索的笔记;借助 Speech Synthesis 生成可定制的音频课程;同时利用语音克隆技术为学生提供个性化的导师音频反馈。
  • 自动化企业培训与数据分析:将静态培训资料转化为生动音频内容,借助 Speech Synthesis 打造更丰富的培训形式;使用 TranscribeSpeech 提升多语言可及性;利用 Get Speaker ID 分析团队讨论或客户通话,对语音内容进行深入挖掘和管理。

关于 DupDub

DupDub 是一个前沿的 AI 内容创作与本地化平台,专注于文本转语音(TTS)、语音克隆与视频配音。平台帮助创作者、教育者、营销人员及企业轻松生成自然流畅的高质量语音内容,并支持快速多语种转化。

操作简便,内置超过 700 种逼真的 AI 合成声音,覆盖 90 多种语言和口音。无论是制作 YouTube 视频、在线课程、播客,还是宣传素材,都可在数分钟内完成专业级语音生成。DupDub 让内容制作省时省力,降低制作成本,并用真实、本地化的语音体验吸引全球观众。

关于 Dify.AI

Dify.AI 是一个帮助开发者更简单、更快速地构建 AI 应用的开源平台。通过灵活的插件机制、提示词编排、RAG、Workflow、应用日志监测等特性,大幅降低开发者的上手指槛,并在最短时间内完成从概念到生产的落地。

热点追踪提示词
你是一名 AI 行业编辑,请围绕下面这条热点输出一份资讯解读:
热点:DupDub全新音频AI插件正式登陆Dify市场 提供强大音频能力要求:
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题
来源:https://www.53ai.com/news/MultimodalLargeModel/2025041404569.html
ai 人工智能

游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。

相关热点
AI热点2026-07-06 18:52
AiRial Flights 个人AI旅行顾问轻松预订机票

无论是需要临时出差的商务精英,还是正在筹备家庭旅行、团体出游的组织者,在机票预订过程中,最令人头疼的莫过于在海量信息里反复对比、耗费精力。归根结底,核心目标很简单:快速锁定最理想的航班。 而下面这款工具,恰好就是专为解决这一痛点而设计的。 产品特色 它的核心亮点在于智能与省心——你只需大致描述出行需

AI热点2026-07-06 18:52
故事蜂AI智能在线儿童故事个性化生成平台

为孩子编故事这件事,经常让家长和老师感到为难:既要足够生动有趣,又要巧妙融入知识或道理,时间一长,创作灵感就容易枯竭。那么,有没有一款工具,只需简单提示,就能自动生成贴合孩子年龄和兴趣的故事?StoryBee正是为此设计的——它不像传统的故事生成器那样生硬,而是能灵活适配不同场景,让故事创作变得像聊

AI热点2026-07-06 18:52
AI辅助决策协作工具团队高效决策关键要素

需求人群团队在决策过程中,往往最怕反复争论、信息不对称,最后只能凭主观臆断。Decision Note 正是为破解这类难题而设计的——无论是日常的业务调整,还是影响公司战略方向的关键抉择,它都能提供有效支持。使用场景以具体场景为例:当团队为下一季度的营销策略争执不休时,可以通过 Decision N

AI热点2026-07-06 18:52
WriteMyCoverLetter专业智能辅助求职信的在线写作服务平台

首先来聊聊这款智能语音翻译与日程管理工具适合哪些人——WriteMyCoverLetter的定位非常清晰,无论你是单打独斗的自由职业者,还是带领数十人团队的管理者,在日常工作与生活中它都能发挥实用价值。它提供的是一种AI驱动的智能化辅助服务,帮你高效处理琐碎事务,让工作更顺手。 具体怎么用?适用场景

延伸阅读