腾讯用生成式检索突破传统RAG，打开多模态新局面
GeMKR由腾讯提出，以生成式检索替代传统RAG范式，让大语言模型直接生成知识线索并确定性查库。采用Object-awarePrefixTuning实现细粒度图文融合，结合知识引导约束解码避免幻觉。在三个多模态检索数据集上性能全面超越传统方法，仅需2万训练数据、3小时即可完成高效训练。
一、传统多模态检索面临的挑战
在多模态应用中，检索外部知识库是一个关键步骤。然而，传统方法存在以下明显问题：
- 流程复杂：需要同时使用文本检索器、图片检索器，甚至实体检索器，导致系统架构臃肿。
- 训练成本高：每个检索器都需要单独训练，对数据和计算资源的要求极高。
- 跨模态对齐难：不同模态之间的信息难以有效融合，导致检索结果不够精准。
- 扩展性差：当知识库规模增大时，传统检索器的性能会显著下降。
面对这些痛点，一个核心问题浮现：能否设计一个通用的、多模态的检索器，同时简化整个流程？GeMKR给出了肯定的答案。
二、GeMKR：如何用生成式检索碘伏传统？
GeMKR的核心理念是：不再通过计算相似度或比对embedding来检索，而是让大语言模型直接“生成”知识线索，再通过这个线索去数据库里精准定位文档。
1. 生成式检索的核心流程
- 线索生成：模型根据输入的查询（文本+图片），自动生成一段能够唯一指向某个文档的关键短语（即知识线索）。
- 确定性查库：生成的线索通过FM-Index这类高效的数据结构进行确定性的查找，整个过程只有生成这一步依赖神经网络。
- 效率显著：由于查库操作是确定性的，避免了复杂的向量比对，整体效率极高。
热点追踪提示词你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读： 热点：腾讯用生成式检索突破传统RAG，打开多模态新局面要求： 1. 先用一句话解释这条热点在讲什么 2. 再总结它为什么重要 3. 说明会影响哪些 AI 产品或内容方向 4. 最后给出 3 个适合资讯站使用的标题
游乐网为非赢利性网站，所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系youleyoucom@outlook.com。
相关热点最近，法国人工智能公司Mistral低调发布了一项重磅成果——推出了全球首款专为机器人打造的导航模型Robostral Na vigate。该模型参数规模仅为8B，却能使机器人仅凭一颗普通RGB摄像头，在复杂环境中实现完全自主导航，无需配备深度传感器或激光雷达。 这意味着什么？过去，要让机器人准确认
外媒The Register的一则消息，让不少科技圈的人心里咯噔了一下——“四大”会计师事务所之一的毕马威最近发布了一项调查，结果相当耐人寻味。 调查显示，不少企业高管，正被AI行业的新玩法“吓”到。这个新玩法，就是按量计费。以前，企业签个固定价格合同，AI公司会补贴大语言模型的调用成本，大家用起来
亚马逊最近在秘密推进一个代号为“Moonraker”的AI智能体项目，目标很明确：让智能语音助手Alexa具备串联执行复杂任务的能力。这可不是什么“小打小闹”的升级，而是真正意义上的能力跃迁——从以前那种“一次只能响应一个指令”的局限，进化到能理解复合型请求，并按逻辑顺序自动完成多个相关联的操作。举
AI圈子现在最不缺的，就是新名词 LLM、Token、Context、Prompt、RAG、Tool、MCP、Agent、Skill……这些词扑面而来的时候，很多人第一反应是：AI还没完全用明白，概念先背不过来了。 但如果换个角度看，它们其实不是一堆孤立的技术黑话。背后只有一条主线：AI正在从一个“
- 日榜
- 周榜
- 月榜
热点快看