Ollama与RAGflow打造私有知识库实战教程

想要在本地运行大语言模型，又不想折腾复杂的配置？Ollama 正是为此而生的便捷工具。下面我们将一步步介绍它的安装方法、常见用法，以及如何配合 RAGFlow 搭建一个带知识库的智能问答系统。

1. Ollama 简介

Ollama 是一个能够在本地设备上运行大语言模型的工具平台，让你完全摆脱对云服务的依赖。它支持多种主流开源模型，并提供简洁直观的命令行接口，对开发者与企业用户都非常友好——无需担心云服务成本、数据隐私安全，直接在个人电脑上就能流畅体验各类大模型。

安装 Ollama

首先前往 Ollama 官方站点下载对应操作系统的安装包，按照安装向导一步步操作即可完成部署。

启动 Ollama

在 Windows 系统中，只需在搜索框中输入“ollama”，找到应用程序后点击启动即可。

Ollama 命令介绍

Ollama 提供的命令虽然不多，但却涵盖了日常使用所需的核心功能，下表列出了所有可用的命令选项：

Usage:
  ollama [flags]
  ollama [command]

A vailable Commands:
  serve       启动 Ollama 服务
  create      从 Modelfile 创建一个模型
  show        查看模型详细信息
  run         运行一个模型
  stop        停止正在运行的模型
  pull        从注册表拉取一个模型
  push        将一个模型推送到注册表
  list        列出所有可用的模型
  ps          列出当前正在运行的模型
  cp          复制一个模型
  rm          删除一个模型
  help        获取关于任何命令的帮助信息

Flags:
  -h, --help      help for ollama
  -v, --version   Show version information

拉取模型并运行

以 deepseek 模型为例，使用 ollama pull deepseek-r1:14b 命令即可将模型下载到本地。

ollama pull deepseek-r1:14b

运行模型并进入交互对话，加上 --verbose 参数可以查看 token 消耗等信息：

ollama run deepseek-r1:14b --verbose

终端会显示资源占用情况；如需退出对话，输入：

/bye

运行 Ollama 远程服务

ENV OLLAMA_HOST=0.0.0.0:11434 ollama serve

2. RAGFlow 简介

RAGFlow 是一款基于深度文档理解构建的开源 RAG 引擎。它的核心价值在于：能够将企业内部各种复杂格式的文档接入系统，再结合大语言模型，提供有据可查的精准问答能力。适用于智能客服、文档生成、数据分析等场景——简单来说，就是让大模型能够理解你提供的资料，并基于这些内容回答问题，而不是凭空编造。

RAGFlow 的安装和部署

前置条件

• CPU ≥ 4 cores (x86);
• RAM ≥ 16 GB;
• Disk ≥ 50 GB;
• Docker ≥ 24.0.0 & Docker Compose ≥ v2.26.1。

启动服务器

1. 确保 vm.max_map_count 不小于 262144：

   如需查看当前 vm.max_map_count 的值：

   $ sysctl vm.max_map_count
   

   如果该值小于 262144，可执行以下命令进行重置：

   # 这里我们设为 262144:
   $ sudo sysctl -w vm.max_map_count=262144
   

   注意：该更改会在系统重启后失效。若需永久生效，还需在 /etc/sysctl.conf 文件中添加或更新以下配置：

   vm.max_map_count=262144
   

2. 克隆仓库：

   $ git clone https://github.com/infiniflow/ragflow.git
   

3. 进入 docker 目录，利用预编译好的 Docker 镜像启动服务器：

   在运行 docker compose 启动服务之前，请先修改 docker/.env 文件中的 RAGFLOW_IMAGE 变量。例如，设置 RAGFLOW_IMAGE=infiniflow/ragflow:v0.16.0 可以下载 RAGFlow 镜像的 v0.16.0 完整发行版。

   镜像体积较大，请确保磁盘有足够空间。另外，下载 Docker 镜像需要自行配置科学上网方式，否则可能无法成功拉取部分镜像。

   $ cd ragflow
   $ docker compose -f docker/docker-compose-CN.yml up -d
   

   启动成功后，可通过以下命令确认服务器状态：

   $ docker logs -f ragflow-server
   

   出现以下界面提示说明服务器正常运行：

        ____   ___    ______ ______ __
       / __  /   |  / ____// ____// /____  _      __
      / /_/ // /| | / / __ / /_   / // __ | | /| / /
     / _, _// ___ |/ /_/ // __/  / // /_/ /| |/ |/ /
    /_/ |_|/_/  |_|____//_/    /_/ ____/ |__/|__/
   
    * Running on all addresses (0.0.0.0)
    * Running on http://127.0.0.1:9380
    * Running on http://x.x.x.x:9380
    INFO:werkzeug:Press CTRL+C to quit
   

   如果跳过系统确认步骤直接登录 RAGFlow，浏览器可能提示 network anormal 或 网络异常，这通常是因为 RAGFlow 尚未完全启动就绪。

4. 在浏览器中输入你服务器的 IP 地址并登录 RAGFlow。

   以上述示例为例，只需访问 http://IP_OF_YOUR_MACHINE 即可：若未修改配置，默认 HTTP 服务端口为 80，无需额外输入端口号。

注册登录

在初始界面完成注册后登录，即可进入如下主页面。

配置 Ollama 连接大模型

1. 首先配置模型：点击右上角头像，选择“模型提供商”。

2. 在 RagFlow 中配置 Ollama 连接。注意：由于 RagFlow 运行在 Docker 容器内，请求本地部署的 Ollama 时需使用地址 host.docker.internal:11434；如果 Docker 部署在其他局域网服务器上，则直接填写对应局域网 IP 地址，如 http://局域网ip:11434。

通过以下命令获取 Ollama 模型列表：

ollama list

最终填写信息如下：

创建知识库

接下来即可创建自己的知识库。

输入知识库名称

配置知识库属性

其他选项根据自身需求自行调整，操作非常直观。

添加私有文档

查看文档解析状态，出现如下提示即说明文档解析完成。

开启聊天

现在到了展示成果的时刻，你可以基于创建的知识库与模型进行自然语言交互。

配置聊天模型：请注意，在聊天配置中务必将 token 上限设置得大一些，否则回复内容会非常简短！建议直接拉到最大值。然后新建一个对话。

数据验证：上面上传的文档是 PDD 的财务报表，截图显示聊天内容成功召回了文档中的相关数据。

Agent 功能：RAGFlow 同样支持 Agent 功能，后续可进一步探索。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：Ollama与RAGflow打造私有知识库实战教程要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题