武汉大学与中国移动开源音视频说话人识别数据集VoxBlink2
在声纹识别领域，近日迎来了一位重磅新成员——武汉大学携手中国移动九天人工智能团队及昆山杜克大学，基于YouTube海量数据，正式开源了名为VoxBlink2的高质量数据集。该数据集规模惊人：总时长超过11万小时的音视频素材，囊括990多万条高保真音频片段及其对应视频，涉及来自YouTube的11万余
在声纹识别领域，近日迎来了一位重磅新成员——武汉大学携手中国移动九天人工智能团队及昆山杜克大学，基于YouTube海量数据，正式开源了名为VoxBlink2的高质量数据集。该数据集规模惊人：总时长超过11万小时的音视频素材，囊括990多万条高保真音频片段及其对应视频，涉及来自YouTube的11万余名用户。简而言之，这是目前全球公开可用的最大规模音视频说话人识别数据集，为声纹识别研究提供了前所未有的数据基础。
那么，这个庞大的数据集是如何从海量YouTube视频中精选出来的？整个构建流程主要分为四个核心阶段：
候选人准备：首先采集多语种关键词，据此检索相关用户视频，并截取每个视频前60秒作为初始处理素材。
人脸提取与检测：以高帧率抽取视频帧，并利用MobileNet网络进行人脸检测。此环节的关键在于确保视频画面中始终只有单一说话人，有效排除多人场景的干扰。
人脸识别：借助预训练的人脸识别模型逐帧比对，严格确认音频片段与视频中的人脸属于同一说话人。
活动说话人检测：通过唇动序列与音频信号的联合分析，利用多模态检测器精确定位发声区间，同时剔除多说话人混合、重叠的部分。
为了进一步提升数据集的准确性，研究团队还设计了一条“旁路”机制——引入集内人脸识别器。具体流程是：先粗略提取人脸，然后进行人脸验证与采样，最后开展模型训练。经过此轮优化，数据准确率从72%大幅跃升至92%。
VoxBlink2不仅提供了优质数据，还同步开源了多个不同规模的声纹识别模型。这些模型包括基于ResNet的2D卷积架构、基于ECAPA-TDNN的时序模型，以及采用Simple Attention Module的超大规模ResNet293模型。在Vox1-O标准测试集上，经过后处理优化后，这些模型实现了0.17%的等错误率（EER）和0.006%的最小时检测代价函数（minDCF），性能表现极为出色。
你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：武汉大学与中国移动开源音视频说话人识别数据集VoxBlink2要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题
游乐网为非赢利性网站，所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系youleyoucom@outlook.com。
相关热点VSona是一个开发AI伴侣的平台，提供聊天、角色扮演、创意表达等功能。用户可自定义头像和声线，支持文字或语音互动。AI伴侣具备动画反馈和语音响应，营造安全、沉浸的个性化互动空间。
MastermallowAI音频母带处理适用于音乐、播客及内容创作者。可将原始录音一键转为专业音频，提升播客音质，为音乐作品添加母带效果。特色包括智能音频分析与增强、原音与母带实时对比、高质量成品下载。
MyCharacter AI是基于Polygon链的去中心化应用，通过CharacterGPTV2多模态AI系统生成具有独特形象和性格的AI角色。用户可与角色实时互动，并将其作为NFT收藏、交易或转让，实现AI角色生成、互动与资产化的一体化。
ToMate基于AI智能高效处理客户消息，适用于客服、销售及市场营销等场景。它能及时贴心回复，支持解析多种文件格式，并采用灵活定价方案，显著提升工作效率与客户满意度。
- 日榜
- 周榜
- 月榜
热点快看