腾讯多模态OCR大模型技术演进：没有最强只有无限进化

在各行业加速智能化转型的进程中，OCR技术（光学字符识别，一种将图像中文字转化为可编辑文本的AI技术）始终扮演着关键角色。但正所谓“金无足赤”，随着业务场景日益复杂和需求多样化，传统OCR的局限性也逐渐显现，成为制约企业转型的瓶颈。

从技术层面来看，传统OCR对复杂场景的适应能力及语义理解极为有限。面对多样化表格、混排内容、背景干扰、模糊、多语言混合等图像，难以准确识别和分离字符区域，导致识别错误率上升。同时，传统OCR缺乏灵活性，难以快速适应不同行业的文档格式，往往需要大量调优或模型定制，增加了使用成本和时间成本。

如今，在AI大模型热潮下，OCR技术正迎来新一轮生产力变革。大模型加持的OCR可以更准确、灵活地应对复杂多样的文档格式与版式，助力企业实现业务流程自动化升级。那么，鹅厂的多模态OCR大模型进展如何？接下来，我们通过一篇文章全景展示腾讯OCR多模态大模型的最新技术与商业化成果。

01 技术演进

回顾OCR技术的发展，可以清晰地看到从多阶段定制到端到端大模型，再到多模态大模型的演进路径。

OCR 1.0：多阶段技术方案

在深入探讨OCR大模型之前，先回顾一下传统OCR的典型流程。它由文本检测、文字角度预测及扭曲矫正、文字识别、信息提取四个模块组成，阶段较多，每个模块都存在瓶颈：

• 文本检测模块：在多行文字套打、非规则形状、大小字混合场景中，容易错检、漏检。
• 角度预测及扭曲矫正模块：多角度文本混合时易错分，扭曲矫正通常只适用于特定排列模式（如曲线文本）。
• 识别模块：文字重叠、生僻字、低质量图像时，因无法结合上下文推测，识别能力受限。
• 信息提取（结构化）模块：通常基于复杂规则或语义方案，泛化能力弱，定制工作量大，扩展性差。

OCR 2.0：端到端 OCR 大模型

由于后续模块难以修正前置模块的错误，导致错误累积，在处理高难度场景时效果不理想。为解决这些问题并提升泛化能力，腾讯优图实验室在2022年提出OCR大模型方案，相关论文被计算机视觉顶会ICCV 2023录用。

OCR大模型设定了三个核心目标：

1. 端到端解决方案：用一个统一模型解决OCR链路问题，克服多阶段瓶颈。
2. 智能化：构建更强泛化能力的模型，单一模型支持多种任务，如OCR识别、KV结构化提取。
3. 高效、高精度：效果优于原多阶段方案，通过极致性能优化，推理耗时极具优势，单Token平均耗时低于1ms。

腾讯优图 OCR 大模型（DocLM-Base）

KV 结构化示例

OCR 3.0：多模态 OCR 大模型

常规结构化任务基于场景或版式做定制处理，成本很高。腾讯云OCR文档抽取（基础版）将结构化抽取抽象成从图像到结构化文本的多模态翻译任务，解决了常规KV场景。但实际业务面临更复杂情况：多页文档、多版式需要按定义规则输出（同一字段有多种表达形式）、表格形式提取等，需要多模态大模型的通用图像理解能力。尤其是个性化需求——每个用户对OCR有独特诉求，例如表格希望按结构化KV、Excel、Markdown等不同格式输出，或按提供的样例和自定义规则提取，这要求多模态大模型具备Prompt理解能力。

02 领域进展

以GPT-4o、Mini-GPT4、LLA VA等为代表的多模态大模型，通过超大规模视觉语言预训练，具备较好的图像感知和意图理解能力。这些模型的结构通常是：在纯文本大模型基础上，将图像提取视觉特征（图像Token）作为额外输入。

图片摘自 LLA VA（https://arxiv.org/pdf/2304.08485 ）

部分模型实测具有一定的OCR识别能力，但在工业应用中发现三个主要问题：

• 精度较低，识字能力偏弱，常规任务上低于传统OCR模型的表现。
• 场景受限：仅适用于小分辨率清晰印刷场景，输出形式存在较大不确定性。
• 成本高：推理成本为常规OCR模型的数百倍，不适用于高频OCR任务。

03 技术要点

腾讯优图 OCR 大模型技术演进路线

腾讯优图实验室对大规模预训练OCR模型的探索始于2019年，目前的OCR大模型属于第五代大规模预训练模型（DocLM v5）。

高分辨率图像处理

OCR场景分辨率通常较高，部分图像可达4K。常规视觉多模态模型的处理尺寸为224×224或448×448，无法满足需求。业界有一些处理方案：

• 将大分辨率划分为预定义栅格，再对每个栅格进行视觉编码和融合。
• 将图像转换为动态数量的Token。

图摘自UReader和InternVL（网址略）。这些方法可解决大分辨率问题，但会导致输入序列特别长——常规4K图像可达上万个视觉Token，大幅降低推理效率并增加GPU显存需求。

基于对文档场景的观察，文档图像并非所有视觉Token都有价值，与问题Prompt相关的视觉Token一般只有5%或更低，因此有大幅压缩空间。我们提出内容感知的视觉过滤机制，将与问题无关的视觉信息过滤掉。例如，原始图片表达为9126个Token，过滤后仅剩330个与问题相关，压缩了95%以上。

图摘自腾讯优图自研论文：HRVDA: High-Resolution Visual Document Assistant

具体实现流程：图像分完Patch后，通过一个可插拔的文字内容感知模块过滤非文字图像块，得到裁剪后Token；裁剪后的Token与指令特征融合，进一步过滤与指令无关的标记。最终，精简后的视觉标记和指令被输入LLM，生成相应响应。总体对视觉Token的过滤平均达90%以上，大幅缩减耗时。

图摘自腾讯优图自研论文：HRVDA: High-Resolution Visual Document Assistant

可视化操作过程：模型不断将图像特征过滤，先过滤非文字部分，再过滤非语义相关部分，最终仅关注与问题相关的图像区域，大幅降低了图像序列长度对效果的影响。基于此方案，OCR能力边界从单一图像处理扩展到多图处理，适用于复杂多图（如国际发片附页）的端到端处理。

文档场景细粒度感知

文档对象对比学习（DoCo）专为VDU（文档智能理解）下游任务设计。DoCo利用辅助文档多模态编码器获取文档对象特征，并与LVLM视觉编码器生成的视觉特征对齐，增强文本密集场景中的视觉表示。对比学习文档对象的视觉整体表示和多模态细粒度特征，帮助视觉编码器获取更有效的视觉线索，提升LVLMs对文档的理解。

此外，DoCo作为一种即插即用的预训练方法，可在不增加推理计算复杂度的情况下用于各种LVLMs预训练。多个VDU基准上的实验表明，配备DoCo的LVLMs可实现更优性能，缩小VDU与通用视觉语言任务之间的差距。

图摘自腾讯优图自研文章 Enhancing Visual Document Understanding with Contrastive Learning in Large Visual-Language Models

常规多模态大模型在文档场景通常难以做到细粒度感知，表现为文字识别错误、理解偏差等。我们发现原因是文档视觉特征未与文本文字、文本坐标框等文档场景特有的多模态属性对齐。因此，在训练阶段，我们将文档中的坐标信息、文字信息同时编码，并通过对比学习与图像特征对齐，增强文档细粒度感知，使大模型在密集文字场景也取得较好效果。

从图表和文档问答的实际表现看，文档细粒度对比学习在回答精准度上比业界常用的CLIP方案有显著提升。

04 文档智能

前文提到传统OCR的局限性。从行业视角看，在物流、出行、金融、零售、医疗、教育、保险等领域，OCR一直有高频使用需求。但在处理非标准化票据、多页合同、复杂文档时，传统OCR准确率往往难以满足业务要求，导致企业仍需投入大量人力进行二次核验，严重制约流程自动化进程。

基于腾讯优图多模态OCR大模型，我们正式推出【文档智能】OCR新能力，打造新一代智能文档处理平台，实现各类文档的高精度识别、智能解析与结构化信息抽取。

几点优势总结：

• 多模态融合解析：支持文本、图像、表格、版式等融合解析，突破传统OCR单模态局限。
• 识别到推理能力跃升：支持“数据抽取→语义理解→业务推理”三级能力跨越，更好适配复杂业务场景。
• 百亿级参数架构，更高性能与精度：同等参数规模下处理速度行业领先，5ms/token识别效率（平均单文档<2s）；固定卡证票据版式中识别精度高达97%，版式多变或中英文混排等复杂场景保持95%以上准确率。
• 便捷易用：无需繁琐模型训练，开箱即用，支持API接入。

以交通物流、医疗保险理赔场景为例：

在（跨境）物流行业，票据单据的智能化处理直接影响企业运转与供应链协同效率。腾讯云OCR文档智能针对物流行业核心场景提供一站式解决方案：

• 大宗货运磅单履约：精准识别重量、车牌、货物类型等关键字段。
• 跨境货代提单识别：支持混合排版解析，自动提取提单号、集装箱号、收发件人信息，助力国际物流高效通关。
• 快递快运隐私面单：高精度识别收寄件地址，提升分拣效率，减少错派率。
• 国际invoice识别：支持多语言混合、复杂表格、手写备注等多样化信息高精度识别，泛化性强。
• 差异化、模糊单据识别：支持全国各省市版式差异、200+保险公司版式、上千种收发货磅单版式；支持模糊/破损面单容错处理、复杂背景（如塑封反光）下文字识别。

某物流企业接入文档智能产品后，单据处理时效从小时级缩短至分钟级，错误率下降60%，年节省人力成本超千万元。

在医疗保险理赔业务中，传统OCR难以应对全国各医疗机构出具的非标准化、版式复杂、字迹潦草的医疗单据。文档智能产品基于多模态OCR大模型的深度语义理解+结构化抽取技术，精准识别医疗文档中的关键字段（支持全国三甲医院200+版式模板），实现95%+的字段级识别准确率：

• 报告解析：检验报告、病历报告等关键字段提取，包括跨机构报告字段智能归一化输出。
• 医疗表格：支持复杂有线、无线表格字段精准抽取。
• 医疗单据核对：住院发片、费用清单、结算单等关键信息自动识别。
• 诊断证明识别：诊断证明、出院记录、住院病例首页等结构化解。
• 医保报销：支持全国100+保险公司版式智能抽取、小字体保单字段专项优化。
• 病历字迹识别：连笔、草书字符精准识别，双栏/跨页内容自动拼接。

某头部保险公司应用后，理赔材料处理效率提升200%，人工审核成本降低60%。

05 实测体验

1）复杂文档：字段名称理解并映射。

2）表格场景：表格可提取结构化及行列信息。

3）多页场景：支持5页内文档信息提取，如国际发片、合同文件等。

4）Prompt自定义能力：提取固定Key内容，按自定义需求从图中提取关键字段信息。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：腾讯多模态OCR大模型技术演进：没有最强只有无限进化要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题