利用大型语言模型发现实体关系，实现精确匹配与歧义消除

发布时间：2024 年 03 月 25 日

RAG 数据整合 实体匹配

摘要

背景

数据融合与数据清洗中，实体匹配始终是关键枢纽。传统方法通常依靠嵌入模型计算实体间的距离；大语言模型则可用于解决实体间的模糊匹配问题。作者通过几个实例指出了传统方法的不足：

例如，下图使用ada-002嵌入计算欧几里得距离，对实体相似度进行排序。然而，表2中的许多实体与表1中的实体之间存在多种关系类型，导致匹配结果混乱不堪。

再如，直接使用GPT-4进行实体匹配时，会遇到“匹配”一词含义模糊的问题。若将“匹配”定义为“完全相同”，则定义过于严苛，实际场景中几乎不存在完全相同的实体，导致方法失效。

解决方案是：发现源实体与目标实体之间的关系，利用关系消除实体匹配中的歧义。即使没有完全相同的实体，也可以选择一种预设的关系类型进行匹配。

依据标准数据模型，假设存在两个表格R1和R2。传统实体匹配（EM）需要找到函数f：

此函数通过设定f(R1, R2)=1，判断一对实体是否“匹配”——即它们指向同一对象；否则f(R1, R2)=0。

然而，现实中从外部数据库找到完全相同的匹配概率极低，用户也希望找到以不同方式相关联的实体。因此作者提出：在关系概念域D中，基于关系的EM需要寻找匹配函数f：

对于每个三元组d, R1, R2（d属于D，表示一种关系类型，如“是”、“包含”），若R1与R2通过关系d相关联，则f(d, R1, R2)=1，否则为0。基于关系的EM扩展了传统EM，“完全相同”关系只是众多可能关系中的一种。

有几点需要特别注意：

• • 关系并非互斥，一个实体可能与另一个实体存在多种关系。

• • 某些关系（如“包含”）具有一对多的特性。

• • 当给定关系d关联多个实体R1时，如何选择最佳匹配取决于关系本身——可能需要人工干预，这是基于关系实体匹配的后处理步骤。

系统设计

整体系统分为离线部分和在线部分两部分。

离线部分

离线阶段，分析师需先明确与任务相关的实体间的关系，同时对目标表格进行预处理，以便在线匹配时能够快速响应。

分析师通过离线头脑风暴会议，定义一套紧密贴合任务的关系集。通常先手动进行一轮实体匹配，然后分析哪些模式与关系对任务有益。关系定义越具体越好，并在少样本学习中利用示例强化。整个过程呈迭代式，涉及头脑风暴与验证，关系也可随时间推移持续优化。

关系类型示例

• • 完全相同：适用于同一实体但使用同义词或缩写的场景。例如“小型汽车”是“小型轿车”的同义词。

• • 一般性无额外细节：适用于作为输入实体的上类，但不包含额外细节的实体。例如“小型车辆”和“轿车”都是“小型轿车”的上层分类。

• • 类似但带有额外细节：适用于包含额外假设或特性的实体。例如“电动车”相比“小型轿车”多了电力特性，而“小型轿车”本身未提及电力。

• • 类似但带有错误细节：适用于与输入实体细节矛盾的相似实体。例如“大型轿车”与“小型轿车”中的“小型”矛盾，但两者本质上都是“轿车”。

• • 组成部分：适用于给定实体的组成部件。例如“发动机”是“小型轿车”的一个组成部分。

在线部分

输入用户表格后，进入在线阶段。系统执行实体匹配，发现关系，并根据分析师的具体任务进行后处理。

这里采用检索增强生成（RAG）技术。对于R中的每个元组t以及每个指定的关系d，系统生成提示。首先从R2中检索出一组在嵌入空间中与t距离较近的d实体，然后询问：每个t与t2之间是否存在关系d？为提升准确率与可解释性，使用标准的思维链（Chain-of-Thought）过程。这些提示随后提交给大语言模型（默认使用GPT-4）处理。

上图展示了在线部分使用的提示词模板。

识别关系后，结果交由分析师进行后续处理。该步骤同样具有迭代性——首先寻找“完全相同”的匹配，若未找到，则沿着预定义的关系列表继续搜索下一个最相似的关系。

Arxiv^[1]

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：大语言模型发掘关系实现实体匹配精确区分要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题