面包屑图标 当前位置: 首页
AI资讯
热点详情

年开源PDF转JSON结构化提取模型指南

AI热点日报
AI热点日报时间:2026-07-08
热点解读

开源文档提取方案可将PDF转JSON,任务分为两类:基于schema的字段提取和文档布局解析。代表模型包括lift、NuExtract3、Docling、olmOCR2等,各具不同许可协议与功能侧重。选择前需明确需求并用自有文档评估实测表现。

大部分企业数据,至今还锁在PDF、扫描件和PPT里。大语言模型和智能袋里要想用上这些数据,得先把它们转成结构化的JSON格式。开源文档提取方案,如今已经成为在自家硬件上完成这项转换的主流选择。

“PDF转JSON”这五个字,其实藏着两个完全不同的任务。第一个是基于schema的提取:你提前定义好字段,模型负责往里填值。第二个是文档解析:模型把页面内容重建为结构化的JSON或Markdown。多数团队需要其中一种,有的两者都需要。选错了方向,代价可不小。

在成本和隐私方面,开放权重模型的价值越来越凸显。专有API处理百万页文档可能要花掉数千美元,而且还得把文件发到外部服务器。本地模型则完美绕开了这两个限制。下面列出的模型和工具包,是根据它们实际能做什么来分组的,值得逐一评估。

一个短语,两种任务

Schema驱动的提取,接收一份文档和一个JSON schema,然后返回你需要的字段值。适用于发片、表单、合同和收据这类你提前知道字段的场景。

文档解析则是对文档本身进行重建。它检测布局、阅读顺序、表格、公式和代码,再导出JSON或Markdown。常用于为检索增强生成(RAG)和智能袋里准备干净的语料库。

第一类:Schema驱动的结构化提取

Datalab lift

lift是Datalab团队(也是Marker和Surya的开发者)推出的一个9B视觉模型。你传入一个JSON schema,它返回匹配的JSON数据。schema约束解码保证了输出是合法的JSON。模型基于Qwen 3.5,可以通过Hugging Face在本地运行,或者通过vLLM服务器远程使用。

它能单次处理多页文档,包括跨页的值。提供了命令行界面、Python API和一个用于构建和测试schema的Streamlit应用“Schema Studio”。

Copy Code

pip install lift-pdf# 启动vLLM服务器,然后按你的schema提取lift_vllmlift_extract input.pdf ./output --schema schema.json Copy Code

from lift import extractresult = extract("document.pdf", "schema.json")if result.extraction is not None: data = result.extraction # 字典数据,匹配你的schema

在Datalab的225份文档基准测试中,lift的字段准确率达到90.2%,中位延迟9.5秒。在字段准确率上领先于NuExtract3(81.5%)和Qwen3.5-9B(76.3%)。但落后于Gemini Flash 3.5(91.3%)和Datalab托管的API(95.9%)。值得注意的细节是,所有本地模型的整份文档准确率都偏低,lift是20.9%。在一份文档中每个字段都提取正确,依然是个挑战。

代码采用Apache-2.0许可。权重使用修改后的OpenRAIL-M许可,免费用于研究、个人用途以及资金或收入低于500万美元的初创公司。商业自托管需要获得许可,且权重不能与Datalab API形成竞争关系。

NuMind NuExtract 3

NuExtract 3是NuMind推出的一个4B视觉语言模型。它将两个任务统一到一个模型中:结构化提取(文档到JSON)和内容提取(OCR到Markdown)。你提供输入和一个描述所需字段的JSON模板。该模型通过强化学习训练,增加了针对提取的推理能力,你可以按需开启或关闭。

NuExtract 3是多模态、多语言的,基于Qwen主干。它通过vLLM服务,提供兼容OpenAI的API,并且可以通过 pip install numind 获取Python SDK。NuMind将其定位为此规模下,在结构化提取和内容提取方面都值得参考的开源模型。商业使用前请务必查看模型卡的许可条款。

第二类:文档解析为结构化JSON和Markdown

IBM Docling

Docling最初来自IBM研究院,现在由LF AI & Data基金会托管。它可以解析PDF、DOCX、PPTX、XLSX、HTML、图片等多种格式。输出格式包括Markdown、HTML、无损JSON和DocTags。其核心是DoclingDocument表示方式,它能保留布局、阅读顺序、表格和LaTeX格式的公式。

Docling可以在本地运行,适用于气隙环境。它与LangChain、LlamaIndex、Crew AI和Haystack集成,并提供了MCP服务器和Docling Serve模式。该项目采用宽松的MIT许可。IBM也通过watsonx提供托管版本。

IBM Granite-Docling-258M

Granite-Docling-258M是IBM推出的一个紧凑型258M视觉语言模型。它在Docling管道中执行一次性的文档转换。尽管体积小,但它能处理OCR、布局、表格、代码和方程式,并输出DocTags。在A100 GPU上,平均每页处理时间约为0.35秒。

该模型基于Idefics3架构,配备SigLIP2编码器和Granite 165M语言主干。基于Apache 2.0许可发布。IBM强调它是为文档转换而构建的,并非通用的图像理解模型。

OpenDataLab MinerU

MinerU,来自OpenDataLab和上海人工智能实验室,可将PDF、图片、DOCX、PPTX和XLSX输入转换为Markdown和JSON。它将处理管道与视觉语言模型相结合。目前的模型MinerU2.5-Pro,专注于高分辨率解析复杂布局,包括跨页表格和图表。

MinerU最近更改了许可。从AGPL-3.0迁移到了“MinerU开源许可”,这是一个基于Apache 2.0并附加条件的自定义许可。这一变化降低了商业部署的门槛。

Datalab Marker

Marker是Datalab的文档转换管道,支持PDF、图片、PPTX、DOCX、XLSX、HTML和EPUB等格式。它能格式化表格、表单、方程式、行内数学公式、链接和代码。可选的 --use_llm 标志会调用一个语言模型来改进表格和表单的提取效果。

在第三方olmOCR-Bench测试套件中,Marker得分约76.1。其代码采用GPL-3.0许可,模型权重使用修改后的AI Pubs OpenRAIL-M许可。该权重许可免费用于研究、个人用途以及资金或收入低于200万美元的初创公司。Datalab的托管平台现在运行着一个更新的OCR模型Chandra,它基于Apache-2.0许可,输出HTML、Markdown和JSON。

Ai2 olmOCR 2

olmOCR 2是艾伦人工智能研究所(Ai2)推出的一个7B、专精OCR的视觉语言模型。它能把PDF转换成干净的文本和Markdown,同时保留阅读顺序。它能处理表格、方程式和手写内容,即使在复杂的多栏布局下也表现良好。该模型通过基于可验证奖励的强化学习进行训练,使用合成单元测试作为奖励信号。

olmOCR 2在自己发布的olmOCR-Bench上得分82.4,是该测试套件中已公布的最高成绩之一。Ai2预估在自有GPU上处理每百万页文档的成本约为178美元。该工具包和 allenai/olmOCR-2-7B-1025 权重都是Apache-2.0许可。当前模型主要针对英语。

DeepSeek DeepSeek-OCR

DeepSeek-OCR是DeepSeek于2025年10月发布的一个开源OCR模型。它引入了“上下文光学压缩”技术,将文本密集的页面表示为紧凑的视觉Token,然后再解码回文本。这使得它可以用比典型视觉语言模型少得多的Token来处理长文档。

它使用DeepEncoder加上一个3B的混合专家(MoE)解码器,每个Token仅激活约570M参数。根据提示的不同,它可以输出纯文本、Markdown、HTML表格或结构化的JSON,并支持100多种语言。代码采用MIT许可发布。后续的改进版本DeepSeek-OCR2于2026年1月推出。

通用之选:Qwen3-VL

来自阿里巴巴的Qwen3-VL并非文档专用模型,它是一个通用的多模态系列,很多提取模型都拿它当底座。你可以通过提示让它返回页面的Markdown、JSON或代码。大多数尺寸的模型都采用Apache 2.0许可。当专用模型不适用时,它是一个灵活的备选方案,当然,这需要更多的提示工程,而且输出质量的保障相对弱一些。

选项对比

模型机构参数量功能定位主要输出许可协议
liftDatalab9BSchema驱动提取按schema的JSONApache-2.0代码 / OpenRAIL-M权重
NuExtract 3NuMind4BSchema提取 + OCRJSON + Markdown开放权重(参见模型卡)
DoclingIBM / LF AI & Data管道布局解析Markdown, JSON, DocTagsMIT
Granite-DoclingIBM258M一次性转换DocTags, MarkdownApache-2.0
MinerUOpenDataLab~1.2B VLM布局解析Markdown, JSONMinerU开源许可
MarkerDatalab管道布局解析Markdown, JSON, HTMLGPL-3.0代码 / OpenRAIL-M权重
olmOCR 2Ai27BOCR转文本纯文本, MarkdownApache-2.0
DeepSeek-OCRDeepSeek3B MoE (~570M激活)带Token压缩的OCR文本, Markdown, JSONMIT (代码)
Qwen3-VL阿里巴巴2B–235B通用视觉语言模型Markdown, JSON, 代码Apache-2.0 (大多数尺寸)

关于基准测试:这些数字来自不同的测试套件,不能直接拿来横向对比。lift的90.2%是字段准确率,基于Datalab的schema提取基准。olmOCR 2(82.4)和Marker(76.1)的olmOCR-Bench分数,测的是内容提取,依靠的是单元测试评分。在选择之前,最好用自己的文档跑一遍每个候选方案。

关键要点

  • Schema驱动的提取(字段到值)和文档解析(布局到JSON)是两件完全不同的事。
  • lift和NuExtract 3瞄准的是schema驱动的JSON输出;其余的都是面向文档解析的。
  • Docling、MinerU、Marker、olmOCR 2和DeepSeek-OCR都能把文档解析为结构化的Markdown或JSON。
  • 许可协议差异很大;MinerU在2026年脱离了AGPL-3.0,而lift和Marker则将代码和模型权重许可分开管理。
  • 已发布的基准测试来自不同体系,所以跨模型的分数只能作为参考,不能直接对比。
热点追踪提示词
你是一名 AI 行业编辑,请围绕下面这条热点输出一份资讯解读:
热点:年开源PDF转JSON结构化提取模型指南要求:
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题
来源:https://www.bestblogs.dev/article/ff0178bd?utm_source=rss&utm_medium=feed&utm_campaign=resources&entry=rss_article_item
json

游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。

相关热点
AI热点2026-07-09 15:50
MasterGo AI辅助颜色饱和度快速调整方法

MasterGoAI无法直接调节图片饱和度,因其是UI UX协同设计平台而非图像处理工具。变通方法包括前置在专业软件中调好、利用颜色变量间接控制、叠加图层模拟效果或直接生成新图。未来版本可能加入基础图像增强功能。

AI热点2026-07-09 15:50
石墨AI写会议争议记录提示词如何加入目标人群

明确目标人群身份并嵌入专属关注点关键词,用角色语言重构争议描述,可使石墨AI生成的会议争议记录精准匹配法务、投资人、技术负责人等特定群体的需求,避免信息错配。

AI热点2026-07-09 15:50
百度Comate如何用提示词和规范提升代码质量

通过精准提示词(指定语言版本、嵌入代码锚点、使用禁止句式)和优化IDE配置(关闭行内补全、调整延迟、关闭无关语言补全),可显著提升百度Comate生成代码的质量与规范性。还可利用Comate自动生成代码检查清单作为隐含约束,实现持续质量管控。

AI热点2026-07-09 15:50
文心AI定格动画风格视频创作详细步骤指南

使用文心AI生成定格动画风格视频需先确认引擎权限并切换至4 0turbo模型。关键步骤是构建五要素提示词(主体、动作、场景、风格、参数),通过直连或以图生图方式生成帧序列,再导入剪映设置每帧1秒时长、插入黑场、添加弹跳缩放动画与机械快门声效,以呈现手工顿挫感。

延伸阅读