RAG引入知识图谱规则与文档解析技术路线总结

2024年11月2日，星期六，北京天气晴好。本周工作收尾之际，想与大家聊聊两个方向的最新进展：一是文档智能领域的综述总结，二是关于RAG的新思路——RULERAG，它在常规检索增强生成中融入了规则知识。值得一提的是，后者可视为大模型与知识图谱结合应用于RAG的另一种可行路径，值得深入探讨。

一、关于文档解析技术与数据的系统梳理

近期文档智能领域有一篇综述值得关注，标题为《Document Parsing Unveiled: Techniques, Challenges, and Prospects for Structured Information Extraction》(https://arxiv.org/abs/2410.21169)。

该工作对文档处理的全流程及各个模块进行了系统梳理，其中包含大量具有索引价值的图表。例如表格检测与识别部分：

再如文档处理的完整流程：

版式分析方面收录的数据集也极具参考意义：

表格相关数据集同样整理得十分清晰：

此外，文中还列出了一些开源PDF处理工具：

二、关于RAG新进展：RULERAG——将规则知识融入检索增强生成

谈及RAG的新进展，近期有一项名为RULERAG的工作，全称为Rule-Guided Retrieval-Augmented Generation with Language Models for Question Answering。论文链接见arxiv.org/pdf/2410.22353，代码也已开源在GitHub上。其核心思路清晰，主要涉及三个组件：

规则库R：存储用自然语言表达的规则，形式类似于“[实体1, r1, 实体2] 导致 [实体1, r2, 实体2]”；

检索器（RG-retriever）：根据查询和规则检索相关文档；

生成器（RG-generator）：基于检索到的文档和规则生成答案；

语言模型（LLM）：负责理解与生成自然语言的基础模型。

关键在于，它将符号规则作为上下文学习（In-Context Learning, ICL）的示例，既指导检索器寻找与查询逻辑相关的文档，又统一指导生成器按照同一套规则产出答案。以下示例可更直观地说明这一点：

1、与朴素RAG的对比

Figure1(b)展示了有规则辅助的RuleRAG工作方式。图示说明，RuleRAG首先利用与查询相关的规则来引导检索，找到逻辑上相关的支持文档，再据此确定正确答案。

具体而言，在规则引导的检索中，引入的规则（例如“如果某人出生在某个国家，那么他的国籍很可能就是这个国家”）能帮助检索器更准确地锁定逻辑相关的文档。

2、知识规则库的构成

规则的获取是整个方法中最关键的一环。在静态场景中，两个实体之间可能同时存在多种关系；在时间场景中，两个实体也可能在不同时间戳下多次交互。因此，如果关系r1（规则主体）在逻辑上能解释关系r2（规则头部）的出现，便可将其表述为自然语言形式的规则：[实体1, r1, 实体2] 导致 [实体1, r2, 实体2]。

该工作采用经典规则挖掘算法AMIE3处理静态知识图谱，TLogic处理时序知识图谱。频繁共现的关系会形成高置信度的规则，随后被转换为上述文本字符串形式。所有规则共同构成规则库R，在训练和推理过程中统一使用。

3、规则的检索与使用方法

Figure 2展示了RuleRAG框架的整体结构，包括RuleRAG-ICL（上下文学习）与RuleRAG-FT（微调）两部分。它清晰地说明了如何通过规则引导来改进检索和生成，从而提升问答系统的性能。

首先是RuleRAG的统一推理。

给定一个查询q，先从规则库R中选出若干相关规则Rq。具体做法是识别查询q中的关系，然后检索以该关系作为规则头部的规则，形成指导规则Rq。为避免冲突，将q与Rq中的每条规则r逐一结合，进行规则引导的检索，在语料库D中获取top-k个相关文档Drq——其中q提供检索内容，r提供检索方向。

最后，将各规则检索到的Drq组合成最终检索结果Dq。RuleRAG-ICL基于查询q、规则Rq和文档Dq来推理答案a。

由于每条规则代表一种独特的检索逻辑，单独检索所有（q,r）对能避免不同规则之间的冲突。检索器计算（q,r）对与每个文档di之间的相关性得分s(di, q◦r)：s(di, q◦r)=Ed(di)·Eq(q◦r)，其中◦表示序列连接，·是点积，Ed是文档编码器，Eq是查询编码器。

为控制在LLM的上下文窗口大小内，对每个（q,r）对选取top-k个得分最高的文档，记为Drq，最终将所有Drq合并作为查询q的最终结果Dq。

另外两个部分是微调。一是规则引导的检索器微调（RGFT-retriever），微调过程中检索器学习区分正例（与查询和规则相关的文档）和负例（不相关的文档），通常通过对比学习实现，损失函数鼓励模型更倾向正例。

二是规则引导的生成器微调（RGFT-generator），使用检索到的文档、规则和正确答案来训练生成器。

对应的prompt如下：

总体来看，RuleRAG通过引入规则来指导检索和生成，有效提升了问答系统在知识密集型任务上的表现。不过，它同样面临一些挑战：规则挖掘本身较为困难，规则存在局限性，系统复杂度也更高。例如，规则可能不适用于所有查询，尤其是那些需要非常复杂或特别具体知识的问题；构建全面且准确的规则库需要大量领域知识和复杂的数据挖掘；现实生活中规则常存在例外，这些例外可能未被规则库覆盖，导致某些情况下答案生成失败；如果规则库本身质量不高，反而会影响系统性能；对于涉及复杂逻辑关系的问题，即便检索到正确文档，生成器也可能难以准确依据规则归因和生成答案。引入规则还会增加系统的复杂性，需要额外逻辑来处理规则的应用和推理。

总结

两个方向的工作均具有很高的参考价值。一是文档智能领域的综述，系统梳理了文档解析的技术脉络；二是RULERAG，将规则知识融入RAG，为大模型与知识图谱的结合提供了全新思路。有空的话不妨深入阅读原文，结合自身场景进行探索。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：RAG引入知识图谱规则与文档解析技术路线总结要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题