本地部署开源大模型实现文档到知识图谱转换

如何创建概念图？

如果询问 DeepSeek 如何从文本中构建知识图谱，它可能会给出以下步骤：

1. 从文本中提取概念和实体（这些将作为节点）；

2. 识别概念之间的关系（这些将作为边）；

3. 将节点（概念）和边（关系）存储到图数据结构或图数据库中；

4. 进行可视化（即使仅为了美观）。

第 3 和第 4 步看起来很好理解，但第 1 和第 2 步该如何实现呢？

下面是一种设计的方法流程图，用于从任意文本语料库中提取“概念图”。它与上述通用流程类似，但有一些细微的差异。

1. 将文本语料库拆分成多个块，并为每个块分配一个 chunk_id。

2. 对于每个文本块，使用 LLM 提取概念及其语义关系，并为该关系分配一个权重 W1。同一对概念之间可能存在多种关系，每个关系构成一条边。

3. 考虑到出现在同一个文本块中的概念也会因上下文接近度而关联，为该关联分配一个权重 W2。注意，同一对概念可能出现在多个块中。

4. 将相似的对进行分组，求和它们的权重，并合并它们的关系。最终，任意一对不同概念之间仅保留一条边，边具有一定的权重和一个关系列表作为其名称。

完整的 Python 代码实现可在本文分享的 GitHub 仓库中找到。接下来的几节将简要介绍实现的关键思路。

Mistral 与 Prompt（提示）设计

在上述流程图中，第 1 步相对简单。LangChain 提供了丰富的文本分割器（text splitters），可以直接用于将文本拆分成多个小块。

第 2 步才是真正的亮点！为了提取概念及其关系，我们采用了 Mistral 7B 模型。在确定最适合需求的模型变体之前，尝试了以下几个版本：

• Mistral Instruct

• Mistral OpenOrca

• Zephyr（Hugging Face 版本，基于 Mistral 训练）

这些模型均使用了 4-bit 量化版本，以便在本地环境中运行，且不会让一台 Mac 彻底崩溃?。它们均可通过 Ollama 在本地启动。

这些模型都是经过指令微调的模型，支持系统提示（system prompt）与用户提示（user prompt）。只要清晰地告知要求，它们都能很好地遵循指令，并将答案格式化为 JSON，输出整洁易读。

经过多轮试错实验后，最终选定了 Zephyr 模型，并设计了以下提示词（prompt）。

SYS_PROMPT = (    "You are a network graph maker who extracts terms and their relations from a given context. "    "You are provided with a context chunk (delimited by ```) Your task is to extract the ontology "    "of terms mentioned in the given context. These terms should represent the key concepts as per the context. n"    "Thought 1: While tra versing through each sentence, Think about the key terms mentioned in it.n"        "tTerms may include object, entity, location, organization, person, n"        "tcondition, acronym, documents, service, concept, etc.n"        "tTerms should be as atomistic as possiblenn"    "Thought 2: Think about how these terms can ha ve one on one relation with other terms.n"        "tTerms that are mentioned in the same sentence or the same paragraph are typically related to each other.n"        "tTerms can be related to many other termsnn"    "Thought 3: Find out the relation between each such related pair of terms. nn"    "Format your output as a list of json. Each element of the list contains a pair of terms "    "and the relation between them, like the following: n"    "[n"    "   {n"    '       "node_1": "A concept from extracted ontology",n'    '       "node_2": "A related concept from extracted ontology",n'    '       "edge": "relationship between the two concepts, node_1 and node_2 in one or two sentences"n'    "   }, {...}n"    "]")
USER_PROMPT = f"context: ```{input}``` nn output: "

用这个提示词处理那首童谣（虽然这首诗并不太适合幼儿园小朋友?），会得到如下输出：

值得注意的是，它甚至主动推断出“食物”是一个概念，而文本块中并未明确提及。这充分体现了模型的强大能力！

如果对示例文章的每个文本块都运行上述代码，并将 json 转换为 Pandas DataFrame，最终结果会呈现如下形式。

在这个 DataFrame 中，每一行代表两个概念之间的语义关系。换句话说，每一行就是知识图谱中两个节点（node）之间的一条边（edge）。

需要留意：

• 同一对概念之间可能存在多条边（多种关系）；

• 权重（weight）在 DataFrame 中被临时设定为 4（仅作为示例值）。

语境接近性（Contextual Proximity）

一个合理的假设是：在文本语料库中相互靠近的概念是相关的，我们将这种关系称为语境接近性（contextual proximity）。为了计算这些语境接近性边，可以采取以下步骤：

1. DataFrame 合并：将 node_1 和 node_2 合并到同一列，以便更便捷地进行配对操作。

2. 自连接（Self-Join）：以 chunk_id 为关键字，对 DataFrame 进行自连接。这样一来，相同 chunk_id 下的所有概念都能相互配对，形成一条新的关系边。也就是说，每个 chunk_id 内部的所有节点都会被两两配对，生成新的关系行。

3. 移除自环（Self-Loop）：但这种方法会引入“自环”——即概念与自身的关系（比如 "Mary" -> "Mary" ）。为此，需要删除所有 node_1 == node_2 的行，确保每个概念只与其他概念建立关系。

4. 得到新的数据框。

最终，我们会得到一个新的 DataFrame，其结构与原始 DataFrame类似，但新增了额外的语境接近性关系。

这里的 count 列表示 node_1 和 node_2 同时出现的块数，chunk_id 列则记录了所有包含该对的块编号。

至此，我们得到了两个 DataFrame：一个包含语义关系，另一个包含文本中概念之间的上下文接近关系。可以将它们合并，形成完整的网络图 DataFrame。

至此，我们已经为文本构建了概念图。但就此止步未免可惜。目标是像本文开头的特色图片一样将图可视化，现在离目标并不遥远。

创建概念网络

NetworkX 是一个 Python 库，处理图结构非常便捷。

G = nx.Graph()## Add nodes to the graphfor node in nodes:    G.add_node(str(node))## Add edges to the graphfor index, row in dfg.iterrows():    G.add_edge(        str(row["node_1"]),        str(row["node_2"]),        title=row["edge"],        weight=row['count']    )

[  'digital technology',   'EVIN',   'medical devices',   'online training management information systems',   'wearable, trackable technology']

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：本地部署开源大模型实现文档到知识图谱转换要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题