详解HaluEval数据集构建流程与关键步骤

一、背景

近年来，大语言模型（Large Language Models，简称 LLMs）的快速发展带来了自然语言处理领域的范式转变。它们在各类任务上的优秀表现引发了众多关注。然而，在自然语言社区迎接和拥抱大语言模型时代的同时，也迎来了一些属于大模型时代的新问题。其中，大模型的幻象问题（Hallucination in LLMs）是最具代表性的问题之一。

所谓大语言模型的幻象问题，是指模型生成的内容要么与现有的内容相冲突，要么无法通过已有的事实或知识进行验证。例如，当用户询问“两磅羽毛和一磅砖头哪个更重”时，模型给出的答案可能自相矛盾——先回答“一样重”，接着又说“两磅比一磅重”。这就是大家常说的“一本正经地胡说八道”。对用户而言，模型生成内容的可信度是一项非常关键的指标。如果生成的文本无法信任，将严重影响大模型在现实世界中的应用。

为了深入研究大模型幻象的内容类型及其产生原因，本文提出了用于大语言模型幻象评估的基准——HaluEval。该基准基于现有数据集，通过自动生成和手动标注的方式构建了大量幻象数据，包含30000条特定于问答、对话、文本摘要任务的样本，以及5000条普通用户查询样本。本文详细介绍了 HaluEval 数据集的构建过程，对数据集进行了内容分析，并初步探索了大模型识别和减少幻象的策略。

二、HaluEval 基准

数据构建

HaluEval 共包含 35000 条带幻象的样本及其对应的正确样本，用于大模型幻象的评估。为了生成幻象数据集，我们设计了两种构建方式：自动生成和人工标注。

• 对于特定于问答、基于知识的对话和文本摘要三类任务的样本，采用自动生成方式。
• 对于一般的用户查询数据，采用人工标注方式。

图2 HaluEval的构建方法

自动生成

HaluEval 中基于任务的样本共有 30000 条，其中问答、基于知识的对话和文本摘要各有 10000 条。这些样本分别基于现有数据集 HotpotQA、OpenDialKG、CNN/Daily Mail 作为种子数据进行采样生成。

自动生成采用 “先采样后过滤” 的两步生成框架，包括：多样化的幻象采样 和 高质量的幻象过滤。

多样化的幻象采样

为了在采样指令中给出条理的幻象生成方法，针对三类任务，我们参考现有工作将幻象分为不同类型，并向模型输入各类别幻象的介绍作为生成方法：

• 问答任务：幻象分为 comprehension、factualness、specificity 和 inference 四种类型。
• 基于知识的对话任务：幻象分为 extrinsic-soft、extrinsic-hard 和 extrinsic-grouped 三类。
• 文本摘要任务：幻象分为 factual、non-factual 和 intrinsic 三类。

考虑到幻象样本可以有不同类型，我们提出了两种采样方法（如图2所示）：

• 单指令模式（one-pass instruction）：直接将包含所有生成幻象方法的完整指令输入 ChatGPT，得到生成的幻象答案。
• 对话式指令（conversational instruction）：每轮对话输入一种生成幻象的方法，确保 ChatGPT 掌握每一类方法，最后根据学到的指令生成给定问题的幻象答案。

使用两种策略进行采样，每个问题可以得到 两个候选的幻象答案。

高质量的幻象过滤

为了得到更加合理且具有挑战性的幻象样本，我们对采样得到的两个候选答案进行过滤。在过滤指令中加入样本过滤的示例，与对两个幻象答案直接过滤不同，过滤指令中的示例包含正确答案和幻象答案，我们选择正确答案作为过滤结果。然后输入测试样本的两个候选幻象答案，让模型进行选择，期望 ChatGPT 选择更加接近真实答案的幻象答案以增强过滤效果。经过过滤，得到的幻象答案更加难以识别。我们收集这些更具挑战性的候选样本作为最终的幻象样本。

小提示： 在自动生成框架中，关键在于设计有效的指令。幻象的采样指令包括三部分：

• 意图描述（蓝色部分）
• 幻象模式（红色部分）
• 幻象示例（绿色部分）

幻象的过滤指令包括两部分：

• 意图描述（蓝色部分）
• 过滤示例（绿色部分）

图3 问答任务的幻象采样指令

图4 问答任务的幻象过滤指令

人工标注

对于一般的用户查询，我们采用人工标注方法构建数据。邀请 三位专家 对来自 Alpaca 数据集的普通用户查询和 ChatGPT 回复进行人工标注，判断回复中是否包含幻象，并标注包含幻象的片段。

进行标注前，先设计一个预选程序：使用 ChatGPT 对每个用户查询生成三个响应，然后用 BERTScore 计算它们的平均语义相似度，最终保留 5000 个相似度最低的用户查询。如图2所示，筛选后的每个样本由三位专家标记，从以下三个方面判断并标注幻象所在位置：

• unverifiable（无法验证）
• non-factual（非事实）
• irrelevant（无关）

最终采用 最大投票策略 来确定回复中是否包含幻象。

基准使用

为帮助大家更好地使用 HaluEval，我们提出三个可能的研究方向：

• 基于 HaluEval 中生成和注释的幻象样本，研究人员可以分析大模型产生幻象的查询属于什么主题。
• HaluEval 可用于评估大模型识别幻象的能力，例如给定一个问题及答案，要求大模型判断答案中是否包含幻象。
• HaluEval 包含正确样本和幻象样本，因此也可用于评估大模型的输出是否包含幻象。

常见问题

Q：HaluEval 的幻象样本都是自动生成的吗？

A：不完全。对于特定任务（问答、对话、摘要）的 30000 条样本采用自动生成方式；对于一般用户查询的 5000 条样本采用人工标注方式，以保证覆盖更多真实场景。

Q：自动生成中为什么要使用两种采样策略？

A：使用单指令和对话式两种策略，可以让每个问题得到两个候选幻象答案，增加多样性，再通过过滤选出更具挑战性的样本，提高数据集的质量。

Q：人工标注中“预选程序”的作用是什么？

A：通过 ChatGPT 生成多个回复并计算语义相似度，筛选出那些更容易产生分歧（即更容易出现幻象）的用户查询，从而提升人工标注的效率和针对性。

三、实验

在实验部分，为测试大模型在 HaluEval 上的幻象识别表现，我们使用构造好的 HaluEval，在以下四个模型上进行了幻象识别实验：

• da vinci
• text-da vinci-002
• text-da vinci-003
• gpt-3.5-turbo

针对实验结果进行了详细分析，并提出了一些可能有助于提高识别效果的策略。

幻象识别实验

在实验中，对于每一个测试样本，以 50% 的概率从幻象答案和正确答案中选择一个作为测试答案，将问题与测试答案一起输入模型，让模型判断测试答案中是否包含幻象。如图5所示，类似幻象生成和过滤的步骤，设计了幻象识别指令，包括 意图描述、幻象模式 和 幻象识别示例。表1展示了四个模型在幻象识别任务上的准确率。

图5 问答任务的幻象识别指令

表1 幻象识别实验结果

实验结果说明： LLM 在识别文本中的幻象这一任务上表现不佳。ChatGPT 在文本摘要任务上仅达到 58.53% 的准确率，与 50% 的随机概率相差不大；而其他模型（如 GPT-3）在问答、对话和摘要任务上的准确率几乎都在 50% 左右。

进一步分析 ChatGPT 没有检测出的幻象样本，使用 LDA 对所有的测试样本和检测失败样本进行聚类，并将聚类得到的主题可视化。将各个数据集的测试数据聚类为 10 个主题，并将其中检测失败的主题标记为红色，如图6所示。结果显示，LLM 无法识别的幻象集中在几个特定主题，例如：

• 问答任务中的 电影、公司、乐队
• 对话任务中的 书籍、电影、科学
• 摘要任务中的 学校、政府、家庭
• 普通用户查询中的 技术、气候、语言 等话题

图6 主题聚类

提升策略

鉴于现有 LLM 在幻象识别方面表现欠佳，我们尝试提出三种策略来提升识别能力：知识检索、思维链推理 和 样本对比。在 ChatGPT 上重新进行幻象识别实验，结果如表2所示。

表2 幻象识别能力提升策略实验结果

知识检索

知识检索是广泛使用的减少幻象的手段。在实验中，向 ChatGPT 提供在 Wikipedia 检索到的相关事实知识（摘要任务除外），并在指令中要求根据给定知识和问题判断答案中是否包含幻象。结果显示：提供外部事实知识后，幻象识别准确率有较为明显的提升，尤其是在问答任务中，准确率从 62.59% 提升到了 76.83%；对话任务也有小幅提升。因此，为 LLM 提供外部知识可以很大程度上增强其识别幻象的能力。

CoT推理

思维链（chain-of-thought）推理通过使 LLM 加入中间推理步骤来获得最终结果。在实验中，我们在识别指令中要求模型逐步生成推理步骤，最终得到识别结果。然而，与知识检索相比，添加思维链并没有提高模型识别幻象的能力，反而在部分任务上准确率有所下降。这可能是因为思维链推理无法为模型提供显式的外部知识，反而可能干扰最终判断。

样本对比

我们进一步为模型同时提供正确答案和幻象答案，测试模型是否具备区分能力。结果显示，提供正确样本使得幻象识别的准确率有较大下降。这可能是由于生成的幻象答案与真实答案具有很高的相似性，也进一步说明了 HaluEval 的幻象识别对 LLM 来说极具挑战性。

常见问题

Q：为什么思维链推理在幻象识别中效果不佳？

A：思维链推理主要适用于需要逻辑推理的数学或符号推理任务，而幻象识别需要模型对照外部事实或内在知识进行判断，缺少显式知识支撑时，推理步骤反而可能引入更多猜测，导致准确率下降。

Q：知识检索策略是否适用于所有任务？

A：在实验中，我们为问答和对话任务提供了 Wikipedia 知识，摘要任务没有提供（因为摘要内容通常来自给定文档）。实际应用中，只要能够获取到相关的权威知识源，知识检索都能有效提升幻象识别效果。

四、总结

本文介绍了大型语言模型幻象评估基准——HaluEval，这是一个大规模、包含自动生成和人工注释的幻象样本集合，用于评估大语言模型在识别幻象方面的表现。主要工作包括：

• 介绍了 HaluEval 的构建过程，包含自动生成（先采样后过滤）和人工标注（专家标注+预选程序）。
• 提供了基准的三种使用方向：主题分析、识别能力评估、输出检测。
• 评估了四个大模型在 HaluEval 上的幻象识别表现，并分析了实验结果。
• 提出了三种提升策略：知识检索、CoT推理、样本对比，发现知识检索效果最优。

基于实验，我们得出以下结论：

• ChatGPT 很可能会编造无法核实的信息，尤其在特定主题中更容易产生幻觉内容。
• 现有大语言模型在识别文本中的幻觉方面面临巨大挑战。
• 可以通过 提供外部知识 或 增加推理步骤（在适当场景下）来提高幻觉识别的准确率。

总之，HaluEval 基准能够帮助分析大模型生成幻象的内容，也可用于幻象识别和减轻的研究，为未来建立更加安全可靠的 LLM 铺平道路。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：详解HaluEval数据集构建流程与关键步骤要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题