vLLM部署Deepseek CPU版完整踩坑记录与失败经验全面分享

vLLM CPU版DeepSeek部署血泪史，带你避开那些坑！

核心内容：
1. 从ollama转向vLLM的本地化部署背景
2. Python、gcc版本不匹配等安装障碍
3. 运行时遇到的各种报错及解决尝试

一、背景

之前一直是用Ollama做本地化部署的，但说实话，Ollama更适合自己在本地玩玩。提供的API丰富程度、吞吐量以及支持的上下文长度，完全没法跟vLLM比。所以决定还是找台机器，基于vLLM（官方文档）对DeepSeek 32B搞本地化部署。其实vLLM这个框架主要是为GPU做了优化，至于为什么选CPU版本——那当然是因为预算有限啊。

安装教程主要参考了官网和一篇社区文章，但实际踩的坑比想象的多得多。下面一个个来。

二、坑一：Python环境版本

不同的vLLM版本对Python版本要求很严格。比如最新的vLLM 0.73版本要求Python 3.12，而之前的0.63版本则要求3.10。vLLM的版本这么多，选错了Python版本直接编译失败，连安装都进行不下去。

三、坑二：gcc版本

按官网要求，gcc、g++版本需要升级到12.3.0以上。而且必须编译安装，不能直接apt-get搞定。编译过程很麻烦，耗时特别长，一台机器上跑几个小时都是常有的事。

四、坑三：git下载与依赖安装

从GitHub克隆vLLM仓库后，进入vllm目录，按照requirements-cpu.txt文件要求安装其他依赖包。这里有个关键点：必须指定

--extra-index-url https://download.pytorch.org/whl/cpu

然后安装基于CPU的服务端：

到这一步都还算正常，接下来运行下载好的模型，问题就来了。

执行命令：
vllm serve /usr/local/data/models/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B

一直报错、报错、再报错……

去GitHub上搜了一圈，CPU版本的相关解决方案几乎为零（参考issues：#7608、#5501）。讨论中提到比较多的是通过版本降级，安装更低版本的vLLM来解决问题。

但先后切换了vLLM 0.7.3、0.7.0、0.6.6、0.6.3，全都不行。

放弃了，等GPU机器到位了再写新的经验帖。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：vLLM部署Deepseek CPU版完整踩坑记录与失败经验全面分享要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题