Docs2KG用大模型自动构建知识图谱降低企业门槛

先说一个大背景：对于现代企业来说，信息资源早已不再是“辅助工具”，它已经成为核心资产。然而，如何高效管理这些资源成为新的挑战。传统的知识图谱构建方法不仅耗时费力，还需要大量人工来整理数据、定义实体和关系，最终依赖多个模型分别提取信息，流程冗长且成本高昂。

Docs2KG正是针对这一痛点而设计。它借助大型AI模型的智能处理能力，为企业提供了一条高效且成本可控的新路径，能够自动构建知识图谱。这不仅简化了流程，更大幅降低了整体运营成本。

摘要

企业数据中，约80%以非结构化形式存在于数据湖中，且格式多样。面对这种异构性，传统搜索引擎已难以胜任。知识图谱能够有效整合异构数据，清晰表达知识内容。

Docs2KG正是为解决该问题而设计。它能够从各类非结构化文档中抽取信息，生成统一的知识图谱，使得数据湖中的文档能够被高效查询与分析。与现有技术相比，Docs2KG的优势在于其灵活性与可扩展性——无论文档结构或内容如何，它都能适应。此外，该框架还支持多种数据后处理任务，使知识在特定领域内更易于理解和应用。

简介

企业的知识资产绝大多数隐藏在非结构化文档中，这类文档至少占据数据湖的80%。将这些数据整合并提取有价值的信息，同时保留原始出处——这能够降低信息错误风险，因此至关重要。

以医疗领域为例：患者记录可能包含手写临床笔记、出院信、医生间的邮件交流以及医学图像。处理这些数据需要跨越三道门槛：一是从多种格式中提取多模态数据；二是将不同模态的信息提取模型集成到统一框架中；三是用有意义的方式表达数据的语义，并能够引用其来源。

为此，研究者提出以知识图谱作为统一的信息表示方式，动态整合各模态提取的实体信息——包括布局实体，从而保持对原始数据的引用。Docs2KG系统支持处理多种格式：电子邮件、网页、PDF、Excel文件等。它生成的知识图谱支持动态自动更新，基于文档结构与内容，并且具备可扩展性，允许人机交互。该系统将深度学习、计算机视觉与结构化文档解析相结合，实现了文档处理的统一化。最终生成的知识图谱可应用于多个实际场景，如降低知识过时风险、增强基于知识的检索能力等。

相关工作

大多数知识图谱构建方法主要聚焦于从文本资料中抽取信息。例如，Connected Papers这类工具可帮助研究人员发现和探索相关学术论文。然而，Docs2KG的路线不同——它专门处理多样化的非结构化文档。其架构是动态的，能够根据文档结构自动调整。同时，它高度可定制、可扩展，能够适配各种非结构化数据。

DOCS2KG

Docs2KG专为处理异构和非结构化文档而设计，支持的类型包括电子邮件、网页、PDF和Excel文件。其工作流程分为两个关键阶段：先进行双路径数据处理，然后构建多模态统一知识图谱。处理后的数据不仅保留了原始结构与语义关系，还会存储在Neo4j图数据库中——从而提升查询效率，并支持直观的可视化。相关代码与文档也均可在线获取。

双路径数据处理

这里介绍一种创新的双路径文档处理策略，旨在高效处理多种类型的文档。两条路径分别是：

• 图像转换路径：利用深度学习技术进行文档布局分析，将文档内容转换为图像格式。
• Markdown转换路径：将文档内容转换为Markdown格式，然后使用XPath等查询语言进行处理。

无论是PDF、网页、Excel还是电子邮件，这些文档均可先转换为图像，再通过文档布局分析技术进行分割，提取文本、图像、表格等元素。此外，针对不同类型的Markdown文档，还设计了四种独立的解析器，每种都有针对性的优化处理方式。

Doc2KG解析各类格式文档并将其转化为统一知识图谱的具体方法如下：

• PDF文件解析：根据文件元信息决定使用Markdown转换器还是图像转换器。如果是扫描的PDF文件，则需要使用训练好的文档布局分析模型。
• 网页解析：使用Python的BeautifulSoup库解析HTML内容，提取文本与图像信息，同时保留原始文档的树状结构，作为布局知识图的一部分。
• Excel文件解析：使用Python的pandas库提取数据，然后转换为图像格式，再通过图像转换器处理。
• 邮件解析：使用Python的email库将邮件内容拆分为纯文本、HTML和附件。文本与HTML部分参考网页处理方法；附件部分根据格式选择合适的工具。

Doc2KG采用模块化设计，用户可根据需求灵活配置和组合不同的处理模块，从而更合理地利用计算资源，提升整体效率。

多模态统一知识图谱构建

数据预处理完成后，Docs2KG会将解析得到的信息整合成一个统一的多模态知识图谱。该图谱既包含结构化信息（如层次与空间关系），也包含语义信息。图谱中的联系主要分为两大类：模态内部关系与跨模态关系。

模态内部关系构建：这部分涵盖不同层级的结构联系，例如标题与段落之间的层级关系，以及句子层面的语义联系。具体包括：

• 结构关系：`has-child`、`before`、`after`。
• 语义关系：`same time`、`focus`、`supported by`、`explain`。

模态间关系构建：在跨模态关系方面，Docs2KG使用语义联系来描述不同模态之间的相互关系。由于模态内部的层次和空间关系已明确界定了关系的方向，因此跨模态关系可以这样处理：最小单位子图表示句子（如表标题），而表和图则通过语义关系（如“explain”和“same-time”）连接起来。

示例

这里通过一个具体实例展示：利用图查询与RAG应用进行数据驱动分析。在RAG应用中，节点和关系先被嵌入，然后进行相似性搜索以找到锚点节点，再通过多跳查询扩展节点、检索相关信息，最后用于增强响应查询的提示。

知识图谱查询

演示案例包括一个PDF文件和一个Excel文件。PDF文件中存储了2011年至2021年香港人口规模与结构的信息。Excel文件则包含2021年至2023年的人口普查记录，例如按年龄组和性别分类的中期人口数据。

使用Docs2KG工具，可以将PDF和Excel的内容解析并融合成一个统一的知识图谱。通过查询该图谱，可方便地提取所需信息。借助可视化工具，可以清晰地看到PDF文件的引言部分提及了2011年和2021年的若干关键事件。

基于语义与结构接近度的信息检索

RAG方法的核心思路是：将更相关的信息直接嵌入到提示中，从而增强大型语言模型的性能。在多模态知识图谱中，相关性通常指节点之间的接近程度——这种接近既可以是语义上的，也可以是结构上的。利用语义相似性搜索，通过嵌入模型检索相关的文本片段、图表等信息，选出最相关的前k个节点作为锚点。然后，再检索n跳范围内语义和结构上相关的节点，用这些信息来丰富和优化提示内容。

总结

本文阐述了一个名为Docs2KG的开源架构，其专门用于创建多模态知识图谱。与现有技术相比，Docs2KG框架更贴近实际应用场景，能够处理网页、电子邮件、PDF、Excel文件等多种格式的非结构化数据。通过将这些不同来源的数据融合到一个知识图谱中，并加入语义与结构化信息，Docs2KG能够以更全面、更精确的方式呈现知识——这无疑增强了知识图谱在各类应用领域中的有效性与可靠性。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：Docs2KG用大模型自动构建知识图谱降低企业门槛要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题