最新RAG三大思路：降噪与自适应检索迭代

2024年10月17日，北京，天气阴。回顾昨日大模型早报，今天重点聊聊近期三项RAG（检索增强生成）方向的最新进展——Astute RAG、StructRAG、Retriever-and-Memory，其中不少思路颇具启发性，值得深入探讨与思考。供参考。

一、Astute RAG：有效减少检索噪声

当检索质量不佳时，很容易引入无关、误导甚至恶意的信息，同时大语言模型（LLM）的内部知识可能与外部检索结果产生冲突。如何在RAG的后检索阶段有效化解这些冲突，是一个长期存在的难题。

此前已有不少应对策略：训练LLM学会处理噪声上下文、过滤无关段落、重排序文档、采用动态或迭代检索、进行查询重写等。

近期一篇工作《Astute RAG: Overcoming Imperfect Retrieval Augmentation and Knowledge Conflicts for Large Language Models》（https://arxiv.org/abs/2410.07176）提出了一种自适应方法。我们来看其实现思路：

1、自适应生成内部知识

首先，借助LLM自身的内部知识自适应生成相关信息，以此补充检索到的段落。该步骤要求LLM生成的段落必须准确、相关且无幻觉。

为确保生成段落的高可靠性，Astute RAG提供了一套宪法原则来引导生成过程，强调生成的段落应当具备准确性、相关性，并且避免产生幻觉。

此处M代表LLM，pgen是提示模板，q是问题，m^表示生成的最大段落数量。另外，LLM能自行决定生成多少段落，而非固定数量——当内部知识有限时少生成，存在多个可行答案时则多生成。

2、源感知的知识整合

第二步，将内部知识与外部知识进行整合。初始阶段合并检索段落与内部生成段落，并为每段标注来源信息。

随后通过提示LLM识别一致的信息、检测冲突信息并过滤掉无关内容。

3、最终答案确定

最后，根据每组一致段落的可靠性生成最终答案，通过比较不同段落组的答案，选择最可靠的一个。

不过，在最坏情况下，Astute RAG的表现接近于无检索增强（No RAG）的场景。

二、StructRAG：引入结构化分流处理

现有RAG方法在处理知识密集型推理任务时面临挑战：所需信息分散在多个文档中，模型难以准确识别关键信息并进行全局推理。

这篇《StructRAG: Boosting Knowledge Intensive Reasoning of LLMs via Inference-time Hybrid Information Structurization》（https://arxiv.org/abs/2410.08815）尝试通过结构化分流的方式解决该问题。

先说不足之处：该工作存在较明显的YY现象。实际场景中很难预先判断应该使用哪种数据类型，路由本身可能不成立，且针对不同数据类型做处理会导致延迟难以接受。此外，由于缺乏选择最佳结构类型的偏好数据，虽然设计了一套合成-模拟-判断的方法来构建训练数据，但实际应用中的数据质量和多样性可能存在问题。另外，混合结构路由器表现尚可，但若原始LLM未经过特殊训练，仍难以选出最优知识类型。最后，使用单一的固定结构类型（如表格、图表、文本块等）在多样化任务中表现不佳——这反过来验证了混合信息结构化的必要性，但也增加了系统复杂性。

具体实现上，StructRAG包含混合结构路由器、分散知识结构化器和结构化知识利用器三个模块：

1、混合结构路由器

用于根据任务需求选择最合适的结构类型。

路由器利用问题与文档的核心内容来决定最佳结构类型，q是问题，C是文档核心内容，t是选择的结构类型。

具体做法：先从文档中提取每篇的核心内容（通常是标题或前几个句子），然后依据核心内容和问题，路由器选择最适合的结构类型。结构类型包括表格（适用于统计任务）、图表（适用于长链任务）、算法（适用于规划任务）、目录（适用于总结任务）和文本块（适用于简单单跳任务）。此外，基于DPO对路由器进行训练，以提高其选择能力。

2、分散知识结构化器

使用基于LLM的分散知识结构化器将原始文档转换为结构化知识。

结构化器利用LLM的理解与生成能力，从文档中提取结构化知识。q是问题，t是结构类型，d(i)是第i篇文档，kt(i)是提取的结构化知识，bt(i)是结构化知识的描述。

具体实现：接收问题、选择的结构类型和每篇原始文档作为输入，利用LLM理解能力从文档中提取结构化知识。不同类型的信息处理方式不同——表格通过解析Markdown格式生成，图表通过提取实体-关系三元组生成，算法通过伪代码表示，目录通过分层编号表示。以下是不同文档结构化处理的提示模板：

1）Prompts in Constructing Table

2）Prompts in Constructing Graph

3）Prompts in Constructing Algorithm

4）Prompts in Constructing Catalogue

除了提取结构化知识，结构化器还会生成结构化知识的描述，便于后续利用和推理。

3、结构化知识利用器

基于LLM的结构化知识利用器将复杂问题分解为简单的子问题。

并通过结构化知识进行精确的知识提取，最终推理出答案。对应的提示模板如下：

三、Retriever-and-Memory：自适应检索迭代生成

现有RAG方法在复杂问答任务中往往收集不到足够的信息。Adaptive RAG（ARAG）尝试通过自适应地决定“何时何地检索”来捕捉更多有价值的知识，但仍存在局限。

近期工作《Retriever-and-Memory: Towards Adaptive Note-Enhanced Retrieval-Augmented Generation》（http://arxiv.org/pdf/2410.08821v1）做出了一些改进。

先说不足：自适应过程中，检索次数被限制在15次以内，可能影响获取更多有用信息的能力。虽然实验采用了默认参数，但自适应记忆审查器的触发条件（如无效更新次数、收集迭代次数、去重检索段落数）可能需要进一步调整。另外，在处理长尾知识时，某些查询对应语料库中存在大量长尾知识片段，多次迭代后虽然可能增加笔记信息量，但也容易引入噪声。

来看看实现细节，构成模块如下：

1、迭代信息收集器（IIC）

初始阶段，基于查询和检索到的段落生成初始笔记作为初始记忆。迭代阶段，利用当前最优记忆和原始查询生成新查询，检索新段落并更新笔记。

具体而言：使用BM25或DPR检索器从语料库中检索与问题相关的段落，作为初始记忆存储在LLM中。然后迭代地利用当前记忆和原始问题生成新查询，检索新的参考段落，并更新记忆。对应的提示模板如下：

2、自适应记忆评审器（AMR）

评估更新后笔记与当前最优记忆的内容质量，决定是否替换最优记忆。同时设置停止条件以控制信息收集的迭代次数。

涉及两个子问题：

决定存储什么作为最优记忆：AMR通过多维评估当前笔记和最优记忆的内容质量，决定是否需要更新。比较内容质量，如果笔记更优则替换。评估标准包括：信息是否包含与问题直接相关的关键信息、是否涵盖多个方面、是否包含足够细节、是否实用。

对应提示模板：

决定何时停止检索：AMR建立了三个停止条件：无效更新次数、最大信息收集步数、最大去重检索段落数。满足任意一个即终止迭代。

3、任务导向生成器（Generator）

利用最优记忆作为上下文，通过LLM的零样本上下文学习（ICL）生成最终答案。针对不同任务设计了相应的提示模板，确保生成高质量答案。

4、一个具体实例

来看一个具体执行过程：

总结

本文主要梳理了近期RAG领域的几项进展，包括Astute RAG、KRAG Framework、StructRAG、Retriever-and-Memory等工作。可以看出，这些研究虽然存在一定臆想成分，实操性与落地性尚显不足，但其思路仍值得阅读与借鉴——整体呈现出清一色的拟合思路。批判性地看待，会获得更多有益启发。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：最新RAG三大思路：降噪与自适应检索迭代要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题