GraphEval策略：利用知识图谱简单粗暴检测修正大模型幻觉

探讨知识图谱在大模型全生命周期最后一环——幻觉评估与修正中的作用。近期一项研究《GraphEval: A Knowledge-Graph Based LLM Hallucination Evaluation Framework》（论文地址：arxiv.org/pdf/2407.10793）提出了一种基于知识图谱的幻觉检测框架，专用于评估大语言模型的生成内容，并精准定位其中与给定知识相矛盾的部分，即通常所说的“幻觉”。更为巧妙的是，该研究还附带了一套纠正策略，虽完全依赖Prompt设计，但实现思路富有创意。

从核心思想上看，GraphEval利用知识图结构来表征信息，旨在克服此前幻觉检测方法可解释性不足的局限。整体流程分为两个阶段：首先构建知识图谱，然后逐项校验。思路简洁明了，实际效果引人关注。

1、GraphEval幻觉检测思路

GraphEval的核心流程如下：首先从大模型输出中提取知识图谱，接着逐个检查每个三元组（triple）是否与给定的上下文事实相符。一旦发现某个三元组存在不一致，则整段输出被判定为事实矛盾，并返回该不一致的三元组——由此提供可解释性。

示意图如下：

下文从两个维度进行详细阐述：第一部分介绍GraphEval的检测机制，第二部分讲解GraphCorrect的纠正实现。

第一阶段：从待评估的大模型输出中构建知识图谱。

对应的Prompt如下：

第二阶段：循环检查知识图谱中的每个三元组，判断其是否与提供的上下文事实保持一致。

具体操作是：将每个三元组输入到一个已有的幻觉检测方法（例如自然语言推理模型）中，与所提供的上下文进行比对，以判断是否存在矛盾。如果任意三元组被识别为不一致，则整个输出被标记为事实不一致，同时该三元组作为可解释性依据被返回。

此步骤所用的自然语言推理（NLI）模型，通过将每个三元组与上下文一同输入，输出该三元组包含幻觉的概率。若任意三元组的概率超过0.5，则将该示例归类为不一致。

这类方法此前已有许多代表性工作，例如：

• HHEM：基于DeBERTaV3模型，起初在NLI数据上训练，随后由Vectara在标注为一致性的数据库上微调。微调所用数据集包括FEVER、VitaminC和PAWS。模型仅需738MB内存，推理速度较快。
• TRUE：基于T5-XXL模型，训练方式与TRUE原文类似，但数据集扩展了SNLI、MNLI和Scitail。需要45.5GB内存。
• TrueTeacher：Gekhman等人利用大模型评估幻觉的能力，通过标注模型生成的摘要来产生合成数据，再微调得到。在TRUE基准测试中达到最优效果，模型规模与TRUE相同。

各模型在具体任务上的性能对比如下：

2、GraphCorrect幻觉纠正实现思路

GraphEval的输出可进一步应用于幻觉纠正。首先识别出知识图谱中概率大于0.5（即可能包含幻觉）的所有三元组，然后按以下三步进行处理：

第一步，识别幻觉。 利用GraphEval检测方法定位出疑似包含幻觉的三元组。

第二步，纠正三元组。 将这些三元组与上下文一起输入大模型，生成修正后的三元组。

第三步，替换信息。 将原始大模型输出中被判定为幻觉的部分，替换为修正后的三元组内容。对应Prompt如下：

作为对比，还有一种不使用知识图谱的基线方法——“直接提示”（即让大模型自行修正），其Prompt如下：

消融实验的结果颇为有趣。针对每种评估框架（HHEM+GraphEval、TRUE+GraphEval、TrueTeacher+GraphEval），将GraphCorrect与直接提示策略进行对比。具体实施方式是：首先用对应的评估框架检测幻觉，然后用GraphCorrect或直接提示去纠正疑似含有幻觉的大模型输出，之后再重新评估纠正后的输出。请注意，此过程仅能衡量那些我们“认为”已被纠正的幻觉，受到评估框架本身误差的局限。

表3展示了在直接提示和GraphCorrect两种策略下，原始摘要与纠正版本之间的平均ROUGE-1、ROUGE-2、ROUGE-L分数，用以衡量文本相似度：

表4则给出了在SummEval、QAGS-C、QAGS-X基准测试中，被认定为已纠正的幻觉百分比：

数据显示，GraphCorrect在大多数任务上显著纠正了更多幻觉，仅在涉及QAGS-X数据集的两个任务上表现稍逊一筹。

3、总结

GraphEval这项工作确实颇具趣味。与以往方法相比，它将纯文本比对升级为与知识图谱结合，显著提升了可解释性。但现实中仍存在一些问题：在知识图谱构建阶段，从大模型输出中抽取三元组时，难免出现信息提取不准确的情况——从输出中“提取”的信息未必完全正确。

另一方面，GraphCorrect的优势在于：仅修改大模型输出中容易产生幻觉的文本片段，其余部分保持不变，从而最大限度地保留了与原始文本的相似度。这一特性在ROUGE指标上得到了验证——与直接提示相比，GraphCorrect系统性地生成了更接近原始输出的文本。

这实际上是基于知识图谱进行事后校验的一种直接实现，简洁而高效。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：GraphEval策略：利用知识图谱简单粗暴检测修正大模型幻觉要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题