多模态GraphRAG：文档智能知识图谱与大模型融合探索

可以直接获取版式分析结果。

可以训练一个分类模型，把图片细分为流程图、数值图、普通图等类型。最后得到json数据。

DocChartSearch&Recmmend工作主要是在应用场景下，基于图片构建API做图表检索，以及以图搜图、文图搜索等下游任务。

文档解析中有层级图的概念，即DocGraph。通过布局分析，进行区域间关系抽取——如表格与其标题、来源、引用段落、所属章节之间的关系，以及层级逻辑关系。代表性工作包括DocStruct、HRDoc、Detect-Order-Construct。

在文档表述时，图表会作为链接元素引用到描述中。RAG中经常召回一些chunk，提示“如表所示”，但图可能已经丢失。把召回的chunk传给多模态大模型，可能无法回答。可以做类似entity-linking的工作，把图和描述link起来。

整个文档解析链路很长，误差会逐步传播。实际场景中用户既要求快又要求准。上面列出了研发中遇到的一些问题及解决方案，供参考。

多模态图索引构建与多模态检索生成流程

多模态图结构索引的构建流程：多模态数据源通过预处理模块，分配到不同子模块。文本模块做文本处理——传统NLP任务或用大模型分词、实体识别；图像处理模块做特征抽取或目标检测；视频处理类似图像，帧视频当图片处理；音频处理模块做语音转文本。之后跨模态关联，构建图结构。

图结构的构建包括节点创建（实体、图像、视频片段），边关系建立（时空、语义、跨模态关系），最后存储到图数据库（如Neo4j、TigerGraph）。嵌入部分主要对特征做嵌入（图像用ViT，视频用3D-CNN等），之后跨模态对齐（图片-文本、文本-视频、文本-音频等），最后联合索引（FAISS、Milvus等向量数据库）。

多模态检索流程：先对文档做版式分析，获取区块元素，做chunk划分。传统RAG链路中，文本直接处理，表格和图片做summary，最终得到文本模态信息，embedding后存入向量数据库用于检索。

更高维的形式是多模态嵌入——文本做文本嵌入，表格和图片分别做各自嵌入，最后存入向量数据库。

检索生成流程：用户输入纯文本或文本+图片的query，先解析query（文本解析、图像解析、语音解析），形成多模态检索。检索策略包括图模式匹配的子图检索、向量相似度检索、跨模态关联检索等。检索结果融合后做相关性排序，再送到大模型中生成。

图文多模态检索可以利用多模态大模型，结合prompt构造拼接，生成检索的答案数据，再做标准化或引文标注。

多模态GraphRAG的主要优势包括更细致的检索、更高的准确性和可解释性。

知识图谱解决chunk关联及细粒度问题

传统RAG方法存在多个问题：chunk模式导致召回大量噪声片段；聚合、过滤、统计时向量召回准确性低（向量模型对数字敏感，鲁棒性不强，大模型数学计算能力有限）；chunk之间孤立，跨文档任务表现不佳；涉及多文本块、多文档的问题，向量或ES召回能力有限；大模型任务规划不确定性高，可控生成任务表现欠佳；大模型改写、推荐任务发散，存在幻觉；领域语料不足需要学会拒答；整体理解受限，文本embedding后可解释性低。

知识图谱通过引入专家知识，可以利用实体层级特征增强相关性，增强chunk之间的关联。比如微软GraphRAG通过search摘要增强chunk之间的关系，提升相关性召回。如果已有KG数据，可以把KG作为召回信息源补充上下文。各类知识形成KG后，提供图视角的embedding补充召回特征。知识图谱也是规则知识库的一种形式，作为规范引导大模型可控生成。利用结构化知识构建场景图谱，可以进行Cyther图检索。

但构建一个高质量、更新灵活、计算简单的大规模图谱，成本极高。

在大模型背景下，知识图谱应有更广泛的含义，不局限于传统三元组，可扩充到更深层关系。文档领域，有文档元数据级关系图谱（节点是文档名称或主题，关系是相似或父子关系）；文档块级关系图谱（节点是chunk，关系是父子、共现、相似等）；文档实体级关系图谱（节点是特定实体类型及关系，或关键词网络）。

典型应用范式包括：KG-enhanced prompt、HiQA方案、Linkedin KG-RAG方案、UniQA-Text2cypher的KG-RAG、HippoRAG框架（考虑实体特异性）、GRAG方案（考虑拓扑结构）、微软GraphRAG方案（集KG大成）、KAG方案（将知识图谱全盘纳入RAG范式）。

各类应用范式代表工作如上图所示。

知识图谱增强大模型问答要浅投入——知识库构建和后续检索，整体耗时较长，消耗大量计算资源。

一些优化工作如LightRAG，在GraphRAG上简化，去除了社区、社区摘要等环节，系统更轻量，知识更新更快。但无论是LightRAG还是GraphRAG，知识图谱本身构建不准确的问题都比较棘手。

对比传统RAG、GraphRAG和KGQA：RAG主要做chunk和向量检索，方式简单，但精确性和逻辑性差；GraphRAG做实体关系抽取和社区摘要，语义关联性更强，但图谱质量不高，逻辑性不足；KGQA（早期pipeline方式）要做query解析、实体链接、语义推理等，然后引用原文——精确，逻辑性高，时间和数值问答准确，但图谱构建成本高，信息可能有损，实体链接不好会导致知识缺失，可读性也差。

总结：KG方案构建门槛高、知识稀疏；RAG方法缺少语义和逻辑关联；GraphRAG高度依赖开放域信息抽取，引入大量噪声，最后用大模型生成，可能存在幻觉。

文档多模态RAG相关工作进展

目前涌现出大量文档多模态RAG工作：输入文档截图，通过大模型端到端问答，省去OCR pipeline链路。下面介绍几个代表性工作。

解析式文档多模态RAG，核心思想是文档切分为页面，用版式识别分割各模态元素，然后嵌入、检索。主要有三条路线：

• 对文本和图片模态直接embedding，通过多模态嵌入模型执行向量检索，相似度搜索后将原始图片和文本块传入多模态大模型做问答生成——核心是多模态大模型。

• 用多模态大模型对图片生成摘要，非文本模态转纯文本，用textembedding做嵌入，将文本块传给文本生成模型——这里用的是多模态大模型做图片摘要，但问答端是纯文本大模型。

• 用多模态大模型对图像生成文本摘要，再对摘要做textembedding，同时参考原始图像嵌入和检索图像摘要，最后将原始图像和文本块传给多模态大模型整合。

DocVQA式文档多模态RAG，核心思想是将文档切分页面后不再细分区块，直接把整页送入大模型做VQA。代表性工作如ColPali，利用多模态大模型检索，后续的VisRAG、M3DocRAG都是端到端利用多模态大模型进行知识问答。

多模态大模型RAG的实践流程：文档转页面，通过ColPali等工具把图片编码成向量数据，同时对文本编码，然后图片的embedding和prompt的embedding同时输入多模态大模型，生成问答。

总结

最后，几个要点总结：

• 语料加工是RAG中的重要环节，加工程度和质量直接影响知识问答效果。

• 多模态大模型为文档处理带来新契机——端到端处理、细分块处理等，还有很多场景值得探索。

• 如何把文档挖得好、挖得深——虽然工具有很多，但当前仍难脱离人工操作，质量可信需要人工check。

• 文档智能因为大模型再次受关注，但很多传统长尾问题还未根本解决。

• 知识图谱要积极拥抱变化——包袱太重但不能丢，内涵要改变，从结构、粒度、形式多方面发展。

• 资源受限且文字密集型场景中，小模型方案（传统NLP/CV/BERT等）仍有应用价值，不可摒弃。

以上是本次分享的全部内容。

问答环节

Q1：真正落地时如何选择合适的方案？

A1：搭建MMOCR多模态大模型的实践发现，模型资源消耗极大。企业用户也未必有充足资源部署。多模态大模型是数据驱动的，前期训练可能需要成百上千万数据。另外是幻觉问题——普通RAG在简单版式下效果好，面对多元素复杂版式效果可能欠佳。简单表格多模态大模型能端到端输出markdown，但图片多模态大模型无法截图或定位。资源有限时建议用pipeline模式。

Q2：标题识别不准怎么优化？

A2：标题识别准确性主要与版式识别中标签定义相关。标题级别可定义多级，但实际落地中发现，尽管粒度精细，CV方式有时会漏检。建议将标题定义统一形式，分级通过规则后处理。也可以训练语义模型——数据量足够的话，语义模型具备标题层级划分能力，结合规则后处理，但很难做到尽善尽美。

以上就是本次分享的内容。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：多模态GraphRAG：文档智能知识图谱与大模型融合探索要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题