玩转Deepseek-R1本地部署知识库搭建多轮RAG详细保姆级教程

最近，深度求索开源的 DeepSeek-R1 系列模型火遍全球，但因为“服务器繁忙”劝退了不少人。为了让大家能真正用上这款模型，我们以 UltraRAG 框架为例，手把手介绍 DeepSeek-R1 的本地部署流程，同时带大家熟悉 UltraRAG 的细节和功能。在成功跑通 VanillaRAG 后，我们还简单尝试了在 DeepSeek-R1 加持下的 Adaptive-Note，提出法律领域的问题，效果出乎意料的好——有截图为证：

如上图，在 UltraRAG 上对 VanillaRAG 和 Adaptive-Note 分别提问“我喝多后撞了人可能会承担什么罪责？”VanillaRAG 简单直接，分别列出了罪名和建议，内容全面但稍显粗放。而 Adaptive-Note 的回答，不光总结了可能的几项罪名，还分析了酒精含量和事后处理态度对量刑和赔偿的影响，引经据典，令人信服。整体来看，Adaptive-Note 的回答更可信。

VanillaRAG：最基础的 RAG（Retrieval-Augmented Generation，检索增强生成）架构，通常指未经优化或改进的标准 RAG 方法。基本流程包括：查询构造（Query Formation）、检索（Retrieval）、生成（Generation）。

Adaptive-Note：一种用于复杂问答任务的自适应笔记增强 RAG 方法，采用检索-记忆（Retriever-and-Memory）机制，iteratively 收集和优化知识结构。通过自适应记忆复审和任务导向生成提升知识交互质量，并采用基于笔记的探索终止策略确保信息充分获取。论文：https://arxiv.org/abs/2410.08821

看到这里，相信大家已经迫不及待想要体验 UltraRAG 了，那么接下来我们详细介绍部署流程。

硬件环境准备

DeepSeek-R1 有多个蒸馏版本：7B、14B、70B 以及满血版 671B。权衡硬件条件和效果后，我们选择 14B 的模型进行部署。以下是运行 UltraRAG 的基本硬件要求：

这里需要注意 nvidia 显卡驱动需要和 cuda 版本兼容，否则 vllm 运行模型可能报错。如果显卡不兼容，可以尝试重装驱动和 cuda。推荐一个简单好用的安装方法：登录 nvidia 官方网站（https://developer.nvidia.com/cuda-toolkit-archive），选择适合的 cuda-toolkit 版本和安装参数（推荐使用 runfile 方式，真的简单好用）。

cuda-toolkit 参数配置页面

UltraRAG 配置

好了，现在你已经拥有了一个稳定的运行环境，可以配置 UltraRAG 了。从 GitHub 仓库下载 UltraRAG 并放到合适的位置：https://github.com/OpenBMB/UltraRAG。

运行 UltraRAG 有两种方法：

方法一：通过 Docker 运行（最简单）。需要机器上已经安装配置好 nvidia-docker，并拥有运行权限（一般需要 root 权限）。只需执行一行代码：

docker-compose up --build -d

方法二：通过 Conda 环境运行。如果机器上没有 nvidia-docker，可以配置 conda 环境。确保本地安装了 conda，安装方法见 https://docs.anaconda.com/miniconda/install/（普通账户直接安装，几行代码就好）。然后在 conda 环境上安装 UltraRAG 的依赖，依次执行以下命令：

# 创建 conda 环境
conda create -n ultrarag python=3.10
# 激活 conda 环境
conda activate ultrarag
# 安装相关依赖
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

环境依赖准备好之后，开始下载模型。需要下载以下 3 个模型，分别执行命令。模型下载完成后，紧接着运行 llm 服务：

vllm serve DeepSeek-R1-Distill-Qwen-14B --gpu-memory-utilization 0.8 --dtype auto --api-key token-abc123

参数说明：

• --gpu-memory-utilization 0.8：GPU 占用率，显存 80G 时 0.8 表示最大占用 64GB 显存。
• --dtype auto：vllm 自动选择模型参数类型。
• --api-key token-abc123：自定义模型 API 密钥。

vllm 服务部署完成后会启动 OpenAI-Compatible 服务，默认参数为：http://localhost:8000/v1。为了常驻后台，也可以使用以下命令：

nohup vllm serve DeepSeek-R1-Distill-Qwen-14B --gpu-memory-utilization 0.8 --dtype auto --api-key token-abc123 &

环境搭好了，模型也下载好了，现在来运行 UltraRAG：

streamlit run ultrarag/webui/webui.py --server.fileWatcherType none

如果一切顺利，会得到类似下图的输出，WebUI 就跑起来了。把 URL 复制到浏览器即可访问页面（可以使用 3 个 URL 中的任何一个）。

和 DeepSeek-R1 对话

这里附上超详细视频教程，可以对照细节一步步上手：

什么是 UltraRAG？

UltraRAG 框架由清华大学 THUNLP 联合东北大学 NEUIR、面壁智能团队及 9#AISoft 团队共同提出。基于敏捷化部署与模块化构造，引入了自动化的“数据构建-模型微调-推理评测”知识适配技术体系，提供了一站式、科研与开发双重友好的 RAG 系统解决方案。UltraRAG 显著简化了 RAG 系统在领域适配过程中从数据构建到模型微调的全流程，助力科研人员与开发者高效应对复杂任务：

UltraRAG 框架具有以下优势：

• 零代码编程 WebUI 支持：零编程经验用户亦可上手操作全链路搭建和优化过程，包括多模态 RAG 方案 VisRAG；
• 合成与微调一键式解决：以自研 KBAlign、RAG-DDR 等方法为核心，一键式系统化数据构建 + 检索、生成模型多样微调策略支持下的性能优化；
• 多维多阶段稳健式评估：以自研 RAGEval 方法为核心，融入面向有效/关键信息的多阶段评估方法，显著提升“模型评估”的稳健性；
• 科研友好探索工作集成：内置 THUNLP-RAG 组自研方法及其他前沿 RAG 方法，支持模块级持续探索与研发。

以上全部功能，都可以直接通过 web 前端快速实现。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：玩转Deepseek-R1本地部署知识库搭建多轮RAG详细保姆级教程要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题