本地部署大模型实现扫描版PDF的OCR识别，笔记本可运行

全面探索如何使用本地部署的大模型实现PDF文件的OCR识别与转换实践指南。

本文核心内容涵盖：

1. Gemini 2.5 等前沿大模型在OCR识别任务中的显著优势
2. 本地部署大模型进行OCR的可行性分析与具体实现方法
3. 多模态大语言模型Qwen2.5-VL的本地OCR部署实操与性能测试对比

在使用大模型处理书籍PDF文件时，经常会遇到扫描版文档——每一页实际上都是图片。此时，大模型需要先从图像中提取文本内容，这自然离不开OCR（光学字符识别）技术。

像Gemini 2.5这类先进模型，从图片中提取文本的能力已经得到广泛应用和认可。实际上，将其用于OCR任务完全游刃有余。

利用这类大模型进行OCR，其优势远不止“识别文字”那么简单。它能够处理复杂的图像场景，深入理解文本结构，并精准保留原始格式——表格、标题等都能规整还原。这对于后续的文本分析、自动化处理及智能搜索而言，无疑是强大的助力。这种将OCR与NLP深度融合的智能文档处理方式，正逐渐成为解决现实问题的关键工具。

然而，像Gemini这类大模型仅能通过远程API访问，存在使用限制且成本高昂。那么，是否可以在本地部署一个类似的模型来独立完成OCR任务呢？

目前本地部署或直接安装的方案已有多种选择，后续有机会再进行详细对比。不过，我们更倾向于亲手构建一个解决方案。这样当大模型不断迭代升级时，我们也能及时跟进，直接升级使用，何乐而不为呢？

多模态大模型的选型

首先，我们需要前往Hugging Face平台寻找具备此类能力的多模态大模型。

注意到“Image-Text-to-Text”了吗？这表示模型能够同时处理图像和文本输入，完全符合我们的需求。点击进入后，首先映入眼帘的是近期发布的一系列模型。

继续向下浏览，找到以下模型地址：https://huggingface.co/Qwen/Qwen2.5-VL-3B-Instruct。

选择该模型的原因非常务实——希望在笔记本上也能顺畅运行，因此参数量不能过大。我们计划先在MacBook Air上测试本地大模型的OCR性能，随后再将其部署到显卡性能更强劲的电脑上进行实际生产。

项目代码已托管在GitHub仓库：https://github.com/mathinml/pdf2md

项目核心任务

任务目标非常明确：在本地部署一个多模态大语言模型（例如Qwen2.5-VL），用于从PDF文件中提取文本内容并完成OCR识别，最好还能保留表格结构，最终转换为Markdown文档。模型支持灵活切换，仅需调整参数即可切换到其他模型。尽管功能看似简单，但它为后续更复杂的任务奠定了坚实基础。

测试环境涵盖两款设备：搭载Macbook Air M3处理器、16G内存的笔记本；以及Ubuntu系统、配备V100 32G显存的高性能服务器。

核心依赖库

项目主要涉及三大部分：Transformers、vLLM以及具体的大模型QWen2.5-VL。该模型基于Transformer架构开发，属于多模态模型。我们通过Hugging Face的Transformers库来加载和调用模型，并采用vLLM来优化Qwen2.5-VL的推理性能。考虑到后续可能在实际生产环境中部署，我们选择了vLLM而非Ollama。

Transformers、vLLM与QWen2.5-VL三者的协作关系如下图所示。

这个关系图展示了三者之间的依赖和协作：

• Transformers作为基础框架：QWen2.5-VL的代码实现与模型结构均依赖于Hugging Face Transformers库。开发者需要安装最新版本的Transformers才能加载并运行QWen2.5-VL模型。
• vLLM作为推理优化引擎：vLLM大幅提升了QWen2.5-VL的推理性能，尤其是在处理视觉与视频任务时。借助张量并行、动态内存管理等先进技术，vLLM使QWen2.5-VL能够在生产环境中高效运行。使用时需配合Transformers，并确保版本兼容。
• QWen2.5-VL作为应用模型：该模型是具体的多模态实现，借助Transformers提供的架构基础与vLLM的推理优化来完成功能。简而言之，QWen2.5-VL专注于处理复杂的视觉语言任务，而Transformers与vLLM则构成其技术支撑。

程序整体流程

程序的整体流程以及各主要Python文件之间的协作关系如下图所示。

该程序的核心功能是将PDF文件转换为Markdown格式。整个处理流程可概括如下：

1、命令行参数解析：调用cli.py中的parse_args函数，解析用户输入的命令行参数。核心参数包括：PDF文件路径、模型路径、输出文件路径等。

2、初始化处理器：在main.py中创建PDFMarkdownProcessor实例，作为整个转换流程的核心控制器。

3、PDF处理阶段：加载指定的PDF文件，借助PDFToImageConverter将PDF页面转换为图像序列，默认图像宽度为1024像素。

4、模型初始化：加载指定的视觉语言模型（例如Qwen2.5-VL-3B-Instruct），该模型需事先下载至本地指定目录。

5、图像处理与转换：对每个PDF页面生成的图像进行处理，利用ImageToMarkdownConverter将图像内容转换为Markdown文本。此步骤依赖视觉语言模型识别图像中的文字、表格、图片等元素。

6、结果整合与输出：合并所有页面转换生成的Markdown内容，将最终结果保存至指定的输出文件。

整个流程体现了模块化设计理念，各组件职责清晰，便于后续维护与功能扩展。用户仅需通过简单的命令行参数即可完成从PDF到Markdown的转换。

模型下载与准备

可以使用huggingface-cli download命令下载Qwen2.5-VL模型。但如果Hugging Face访问不便，也可选择通过modelscope平台下载。

例如，我们所需的模型文件位于：https://modelscope.cn/models/Qwen/Qwen2.5-VL-3B-Instruct/files

首先安装modelscope：

pip install modelscope

接着执行以下命令：

modelscope download --model Qwen/Qwen2.5-VL-3B-Instruct --local_dir ../local_models/Qwen2.5-VL-3B-Instruct

将完整的模型库文件下载至指定的本地目录../local_models/Qwen2.5-VL-3B-Instruct。

转化效果与性能评估

对于1024像素分辨率的图像，在Macbook Air上每页转换耗时约六至七分钟。虽然速度较慢，但至少能够正常运行。而在V100显卡上，每页仅需10秒出头。

如果PDF页面本身较为清晰，可以适当降低输入分辨率，从而提升处理速度。此外，程序中的参数quantization=None表示未启用量化，保留了模型的完整精度。若希望进一步加速，可以使用量化版本，即Qwen/Qwen2.5-VL-3B-Instruct-AWQ。

实际转换效果展示

以下是从PDF文件中提取的原始图像：

转换为Markdown后的效果如下图所示。文字、表格和数学公式的保留情况是否令人满意？

项目代码地址：https://github.com/mathinml/pdf2md

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：本地部署大模型实现扫描版PDF的OCR识别，笔记本可运行要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题