通义实验室开源统一多模态嵌入GME系列模型
多模态检索一直是信息检索领域的热点与难点。随着用户生成数据的日益丰富——不仅包含文字，还有图片、音频、视频等——如何让检索系统真正“理解”并“匹配”这些不同形态的信息，已成为不可回避的课题。今天，我们将深入探讨通义实验室在这一方向上的一项创新成果：GME统一多模态表征模型。该模型能够将文本、图像以及
多模态检索一直是信息检索领域的热点与难点。随着用户生成数据的日益丰富——不仅包含文字，还有图片、音频、视频等——如何让检索系统真正“理解”并“匹配”这些不同形态的信息，已成为不可回避的课题。今天，我们将深入探讨通义实验室在这一方向上的一项创新成果：GME统一多模态表征模型。该模型能够将文本、图像以及图文组合数据映射到同一语义空间，使不同模态的数据得以直接比较与检索。其背后的设计思路与技术实现，值得仔细剖析。
01 背景
多模态检索面临的挑战十分直观：传统检索模型大多只能处理单一模态，例如文本模型仅能搜索文本，图像模型仅能搜索图像。然而，现实中的用户查询常常是混合形态的——比如上传一张照片，再配上一段文字描述，希望找到类似的多模态内容。这种组合式检索需求，使得单纯依赖单模态模型的方法显得力不从心。
目前主流的多模态检索方案，要么依赖多个独立模型（例如文本使用BGE、GTE，图像使用CLIP），要么通过OCR或生成模型将视觉素材先转化为文本再进行检索。无论采用哪种路径，都会增加系统复杂性，并容易在转化过程中丢失关键信息。理想的做法是，采用单一模型直接理解多种模态，并在统一的向量空间中完成语义匹配。
02 GME统一多模态表征
通义实验室开源的GME（General MultiModal Embedding）正是朝着这一目标设计的。该模型基于Qwen2-VL多模态大语言模型构建，采用对比学习方式进行训练。每个训练样本包含一个查询、一个相关候选项以及多组无关候选项，覆盖文本、图像、图文组合等多种数据类型。通过指令调优，GME还能适应不同的检索任务，例如视觉问答（VQA），从而进一步提升表征能力。
图1 不同模态数据高维空间统一表征示意图
在训练数据方面，GME的一大亮点是“合成数据”的运用。除了充分利用丰富的单模态和跨模态真实数据外，团队还借助大模型生成技术，合成了海量的混合模态相关性数据。这种数据增强策略，确保了GME在各类检索场景下均能取得良好表现。
图2 基于MLLM的多模态Embedding模型架构
统一多模态检索评测 (UMRB)
为了系统评估模型在多模态检索场景下的综合性能，作者团队构建了一个统一多模态检索评测数据集，命名为“通用多模态检索基准”（Universal Multimodal Retrieval Benchmark，UMRB）。该基准包含47个评测子集，覆盖了广泛的多模态检索任务，主要源自以往针对不同子场景或子任务构建的专用数据集。UMRB具体包含以下几类数据：
1、BEIR评测集：用于文本到文本的检索场景。
2、M-BEIR数据集：聚焦于视觉相关的检索场景。
3、混合模态数据集：涵盖M-BEIR未覆盖的检索任务。
4、文本到视觉文档搜索数据集（如ViDoRe）：扩展评测数据的覆盖范围，确保对模型通用性的全面评估。
在UMRB评测中，GME-Qwen2-VL系列模型表现十分出色。2B和7B规模的GME模型均超越了此前的基线模型，验证了其在单模态、跨模态及混合模态检索任务中的有效性。更值得关注的是，GME在纯文本检索与富文本图片检索方面同样展现了强大能力。在BEIR文本检索评测中，尽管多模态嵌入模型在纯文本任务上略逊于专门的纯文本模型，但GME在富文本图片检索（例如论文PDF、财报等）中，无需经过OCR识别即可直接进行高效检索，取得了显著优势。这一点在ViDoRe LeaderBoard上同样得到了印证。
表3 UMRB评测结果
表4 ViDoRe LeaderBoard
03 模型使用方法
GME模型是通义基于多模态预训练大模型构建多模态Embedding的一次初步探索，当前版本仍存在诸多提升空间与技术优化方向。基于Qwen2-VL系列模型训练的General MultiModal Embedding(GME)系列模型现已在ModelScope平台开源。感兴趣的读者可前往体验、交流与分享。
模型地址
gme-Qwen2-VL-2B-Instruct
https://modelscope.cn/models/iic/gme-Qwen2-VL-2B-Instruct
gme-Qwen2-VL-7B-Instruct
https://modelscope.cn/models/iic/gme-Qwen2-VL-7B-Instruct
04 阿里云多模态Embedding模型服务
通义实验室还在阿里云百炼大模型平台上推出了推理性能更优、垂直领域检索效果更出色的公共云多模态Embedding模型服务multimodal-embedding-v1。该服务提供文本、图片、视频三种模态的表征能力，详情请参考阿里云百炼大模型服务平台模型服务。
你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：通义实验室开源统一多模态嵌入GME系列模型要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题
游乐网为非赢利性网站，所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系youleyoucom@outlook.com。
相关热点AI辅助定制成果回收按L1至L4分级，L1个人辅助与L2流程嵌入已成熟或可用，L3可在限定场景启动，L4较难实现。未来12个月L3将成常规流程，但产品价值判断与架构边界仍需人负责，最大风险在于误将客户特殊逻辑视为共性。
基于项目名称、周期及阶段天数，WPSAI可自动生成包含起止日、责任人、交付物的六列进度表。通过文字文档或AI对话框输入指令即可生成，也可基于已有初稿补全带甘特色块的时间轴表格，前提是原文含具体工期关键词。
埃夫特指出机器人行业困局在于大脑进化滞后于硬件，提出构建通用技术底座破解数据与平台难题，相关项目获国家科技重大专项最大支持。实机演示展示多机协同、防爆机器人及自然语言指令场景，并揭牌具身智能生态社区推动产业进阶。
Codex锁屏远程操控需通过屏幕录制、辅助功能、完全磁盘访问三项权限验证，其中辅助功能须手动添加主程序。操作时自动遮屏、校验AppleID，检测到本地键盘或鼠标信号立即中断。应用授权按需弹窗，禁止操作系统终端、自身进程及提权界面。会话结束后数据自动清除。
- 日榜
- 周榜
- 月榜
热点快看