事实性评测
事实性评测是针对AI系统（尤其是大语言模型）输出内容是否基于事实、有无幻觉的评估过程。它通过比对权威信源或预定义知识库，量化模型的事实准确性，是保障AI可信落地的关键环节。
一句话解释
事实性评测是评估AI模型（尤其是大语言模型）生成内容是否与已知事实一致的系统性方法，旨在检验模型是否“说真话”。
为什么会被关注
随着大模型在客服、医疗、教育等场景的广泛应用，模型“幻觉”问题成为阻碍落地的关键。用户无法信任一个经常编造事实的系统，因此需要事实性评测来量化错误率，并指导模型优化。
此外，OpenAI、Anthropic等主流厂商在发布新模型时，均将事实性指标作为核心竞争力之一。学术界也涌现了如TruthfulQA、HaluEval等基准数据集，推动该领域标准建立。
核心逻辑
事实性评测通常依赖一个权威的知识源（如维基百科、可信数据库、企业私有文档）作为“黄金标准”。评测时，让模型回答问题或生成文本，然后自动或人工比对模型输出与知识源的一致性。
常见的评测指标包括准确率、F1分数、以及针对开放式生成的事实性得分。部分高级方法还引入“归因”机制，要求模型在回答中引用具体来源，以便追溯事实。
常见场景
检索增强生成（RAG）系统是事实性评测最主要的应用场景。RAG将外部文档注入模型提示，但模型仍可能忽略或曲解文档内容，需要评测其是否忠实于检索结果。
在智能问答客服中，事实性评测可自动检测机器人是否提供了错误的商品信息或政策解读，降低用户投诉风险。
模型微调阶段，训练数据中引入事实性奖励信号，通过强化学习（如RLHF）鼓励模型生成更真实的内容。
容易混淆的点
事实性评测不等于通用准确率评测。通用准确率衡量答案是否正确，而事实性更关注模型是否“无中生有”。例如回答“我不确定”虽然不提供正确答案，但属于事实性较好的表现。
事实性评测也不同于语义相似度评测。语义相似度可能放过含有错误的表述（意思相近但事实错误），而事实性评测要求严格匹配事实。
当前事实性评测仍面临“事实边界”难题：同一问题的答案可能随知识源更新而变化，评测基准需持续维护。
本文内容用于 AI 热词解释和概念整理，仅供学习和理解参考。若涉及表述偏差或内容修正，欢迎联系站点进行更新。
相关热词大语言模型是一种基于海量文本数据训练的人工智能模型，能够理解、生成和推理人类语言。它通过深度学习技术，学习语言的统计规律和语义关联，从而完成对话、写作、翻译等多种任务，是当前生成式AI浪潮的核心驱动力。
幻觉率是衡量大模型生成不真实、无依据或自相矛盾内容比例的指标，它揭示了AI在回答事实性问题时的“说谎”倾向。理解幻觉率有助于评估模型可信度、选择应用场景并采取缓解措施。
检索增强生成是一种将信息检索与大语言模型生成能力相结合的技术框架。它让模型在回答前，先从外部知识库中检索相关信息作为参考，从而生成事实性更强、时效性更高且可追溯来源的内容，有效缓解大模型的“幻觉”问题。