【新手入门】使用ERNIE-4.5-0.3B-Paddle从原始文本构建知识图谱

1. 概述

本文将探讨如何使用ernie-4.5-0.3b-paddle模型从原始文本构建知识图谱。通过结合大语言模型(llm)和检索增强生成(rag)技术实现文本生成，帮助我们从非结构化数据中高效提取实体和关系信息。

2. 什么是知识图谱？

2.1 基本概念

知识图谱是一种语义网络，它表示和连接现实世界中的实体，如人物、组织、物体、事件和概念。知识图谱的核心构成单元是三元组（Triple）：

<头实体（Head Entity）> - <关系（Relation）> - <尾实体（Tail Entity）>

举例说明：

2.2 知识图谱的价值

2.3 应用场景

3. 环境准备

3.1 依赖安装

首先安装必要的Python库：

fastdeploy的安装参考：https://github.com/PaddlePaddle/FastDeploy/blob/develop/docs/get_started/installation/nvidia_gpu.md

!python -m pip install paddlepaddle-gpu==3.1.0 -i https://www.paddlepaddle.org.cn/packages/stable/cu126/!python -m pip install --upgrade fastdeploy-gpu -i https://www.paddlepaddle.org.cn/packages/stable/fastdeploy-gpu-80_90/ --extra-index-url https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple!pip install pandas!pip install numpy!pip install networkx!pip install matplotlib

3.2 导入必要的库

import paddleimport pandas as pdimport numpy as npimport jsonimport loggingimport networkx as nximport matplotlib.pyplot as pltimport difflibimport refrom collections import Counterimport math

4.1 为什么选择ERNIE-4.5-0.3B-Paddle？

ERNIE-4.5-0.3B-Paddle 是一个文本密集的后训练模型。以下是模型配置详细信息：

4.2 模型初始化

使用以下命令中的 FastDeploy 可以快速完成服务部署。更详细的使用说明请参考FastDeploy 仓库 。

# 1: 安装依赖!pip install --upgrade aistudio-sdk# 2: 设置环境变量和下载!aistudio download --model PaddlePaddle/ERNIE-4.5-0.3B-Paddle --local_dir baidu/ERNIE-4.5-0.3B-Paddle

# 3: FastDeploy完整启动代码import subprocessimport timeimport requestsimport threadingdef start_fastdeploy():    cmd = [        "python", "-m", "fastdeploy.entrypoints.openai.api_server",        "--model", "baidu/ERNIE-4.5-0.3B-Paddle",        "--port", "8180",        "--metrics-port", "8181",         "--engine-worker-queue-port", "8182",        "--max-model-len", "32768",        "--max-num-seqs", "32"    ]        print("