RAG知识检索与选择影响分析及知识图谱关系建模技术总结

2024年10月27日，星期日，北京，天气晴好。

今天想探讨两个研究方向。其一是关于知识图谱表示中如何融入关系信息的最新综述，对理解知识图谱表示方法会有所启发；其二是系统分析不同知识检索与选择策略对RAG（检索增强生成）性能的影响，得出的结论颇具价值：整体RAG表现主要取决于生成器本身。强生成器在全知识设置下反而优于标准知识设置，而弱生成器则需要知识选择器来过滤干扰信息；同时，生成性能会随知识精度和召回率平滑变化——这意味着精度与召回率共同决定了生成质量。

多看、多思考，总会有更多收获。下面进入正题。

一、考虑关系信息的知识图谱表示研究进展综述

这篇综述来自《Knowledge Graph Embeddings: A Comprehensive Survey on Capturing Relation Properties》（https://arxiv.org/pdf/2410.14733），系统梳理了知识图谱嵌入（KGE）技术在处理复杂关系映射、多样化关系模式以及实体间隐含层次关系方面的最新进展，对关系建模这部分归纳得相当完善。

实际上，这两个核心问题归根结底都是：如何表示知识。

知识图谱通过有向图结构建立实体间的多种关系，使机器能够理解并应用常识或领域知识。而KGE模型的目标，就是把符号化的实体和关系嵌入到数值表示空间中，从而通过数值计算完成知识检索与推理。

简单来说，KGE模型的基本原理是：通过学习实体和关系在数值空间中的嵌入，并用评分函数评估三元组（实体-关系-实体）的合理性。训练阶段的目标是为实体和关系构建合适的数值表示空间，同时设计评分函数来训练三元组样本。

这一领域的研究难点主要集中在三个方面：关系的复杂映射特性（如一对一、一对多、多对一、多对多）、对称/反对称/逆/组合关系模式的捕捉，以及实体之间隐含的层次关系。

先看复杂关系映射。通过引入关系依赖的投影机制和动态投影矩阵，模型能够更好地处理1-N、N-1和N-N这类复杂映射。例如TransD模型利用自适应稀疏投影矩阵减少了参数，泛化能力也更强。

部分模型示意：

再看多种关系模式。通过使用复数空间、四元数和双四元数空间，模型可以同时捕捉对称、反对称、逆和组合关系。举例来说，ComplEx利用复数共轭同时建模对称和反对称关系；RotatE则通过旋转操作应对多种关系模式。

部分模型示意：

对于层次关系，通过引入辅助信息、双曲空间和极坐标系统，模型能有效建模实体间的层级结构。比如Poincare模型把KG嵌入到双曲球面中，高层次实体更靠近球心，低层次实体更远；HAKE则用极坐标中的幅度和相位角分别区分不同层次和同一层次的实体。

回顾相关发展脉络：TransE是最基础的KGE模型，通过平移操作表示关系；后续TransH、TransR、STransE、TransD等模型引入了关系依赖的投影机制来改进；KG2E、ManifoldE、TorusE等则把KG嵌入到特定的几何空间中；RESCAL、DistMult、TuckER利用张量分解技术；SME、NTN、ConvE、ConvKB、CapsE、InteractE等基于神经网络来捕捉实体和关系间的复杂交互。

1、关系感知映射模型

这类模型在TransE基础上，通过引入关系依赖的投影机制来实现复杂关系映射。

例如，TransH把实体投影到关系特定的超平面，使不同关系下的实体表示不同；TransR为每个关系定义独立的投影矩阵，更灵活；STransE为每个关系学习两个独立投影矩阵；TransD用动态投影矩阵减少参数；TransF放松优化目标以实现多尾实体独立表示；TransA使用加权马氏距离衡量三元组合理性；TransM为不同关系分配不同评分权重。

2、特定表示空间模型

这类模型将KG嵌入到高维空间，例如高斯分布、流形空间和李群环面。

例如，KG2E把实体和关系嵌入高维高斯空间，通过计算实体对差异与关系的相似度来评估三元组；ManifoldE嵌入到高维球面，要求头实体和关系是球面中心，尾实体在球面内；TorusE嵌入到紧致李群环面，通过保持不同尾实体在环面上的差异一致来建模1-N关系。

3、张量分解模型

这类模型通过张量分解技术将KG表示为大规模三阶张量，并用矩阵乘法计算三元组评分。

例如，RESCAL直接用矩阵乘法计算评分；DistMult使用对角矩阵简化参数；TuckER通过Tucker分解将三阶张量分解为核心张量和三个因子矩阵，再用张量乘法计算评分。

4、神经网络模型

这类模型利用非线性操作和网络架构来捕捉实体和关系间的复杂交互。

例如，SME用全连接神经网络结合头实体、关系和尾实体的向量嵌入来评分；NTN通过关系特定的神经网络输入头尾实体向量，并用张量乘法和激活函数来评分；ConvE和ConvKB用卷积神经网络提取特征映射；CapsE在卷积后使用胶囊网络捕捉特征向量的维度信息；InteractE则通过直接堆叠、行循环卷积和元素级交互来增强特征交互。

最后提一下未来的发展方向：

首先，稀疏和动态知识图谱。当前研究多聚焦于静态图谱，对稀疏和动态图谱中关系特征的建模仍是挑战。

其次，规则增强的关系模式建模。现有KGE模型能自动学习隐含关系模式，但在稀疏图谱中确保关系嵌入满足每种模式约束仍然困难。未来可以探索自动挖掘更广泛关系模式的规则，并用这些规则来增强实体和关系嵌入。

最后，多模态信息的整合。尽管已有工作开始整合文本描述和视觉特征，但这些策略对关系特征建模的具体影响仍需进一步探讨。

二、知识检索与选择对RAG的影响分析

关于RAG的实验性分析，可以参考《A Systematic Investigation of Knowledge Retrieval and Selection for Retrieval Augmented Generation》（https://arxiv.org/pdf/2410.13258）。这篇工作通过模拟不同的检索和选择条件，系统评估了知识检索与选择对下游生成性能的影响。

几个关键点：

1、RAG框架试验设置

标准RAG系统包括三步：知识检索（根据查询检索候选知识）、知识选择（去除与生成目标无关的知识）、生成（利用查询和选定知识输出文本）。

为了系统分析检索和选择的效果，作者通过混合标准知识和干扰知识来模拟不同条件。具体来说，对于每个查询，在知识池中以不同比例采样金标准知识和干扰知识，以此模拟检索和选择知识的质量分布。

数据集方面，使用了WoW（对话生成）和HotpotQA（问答）。生成器方面，选了三个LLM：GPT-4o-mini、LLaMA 3.1 8B和Mistral 7B-Instruct。知识采样方面，使用线性搜索和平面搜索，确保覆盖知识精度和召回率空间中的大部分网格点。

2、试验结论

首先，生成性能随知识精度和召回率平滑变化，说明两者共同决定了生成质量。

其次，对于强生成器模型，知识召回率是评估生成性能的最佳单一指标。提高召回率能显著提升答案F1分数。

然后，整体RAG性能取决于生成器模型本身。强生成器在全知识设置下表现优于标准知识设置，而弱生成器需要知识选择器来过滤干扰知识。

最后，相同生成器在不同任务和数据集上表现差异明显。HotpotQA中干扰知识对性能有显著负面影响，而WoW的干扰知识可能只是相对不相关。

总结

本文主要梳理了两个方向：一个是关于考虑关系信息的知识图谱表示综述，另一个是不同知识检索与选择对RAG的影响分析。核心结论是：整体RAG性能取决于生成器模型——强生成器在全知识设置下优于标准设置，弱生成器则需要知识选择器来过滤干扰；而生成性能随知识精度和召回率平滑变化，说明精度和召回率共同决定了生成质量。因此，RAG需要双头优化，才能获得更大收益。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：RAG知识检索与选择影响分析及知识图谱关系建模技术总结要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题