DeepSeek开源OCR模型：文本识别更强，单卡日训超20万页

人工智能领域迎来一项重大突破——DeepSeek公司近日在GitHub平台开源了一款创新的OCR模型，同时发表了技术论文《DeepSeek+OCR：上下文光学压缩》。这项技术通过视觉模态实现文本信息的高效压缩，为解决大语言模型处理长文本时的计算瓶颈提供了全新思路。

研究团队发现，现有大语言模型在处理超长文本时面临显著的计算压力。为此，他们创新性地将文本信息转化为视觉模态，运用“一图胜千言”的原理大幅减少Token消耗。实验数据显示，这种光学压缩技术可实现近10倍的无损上下文压缩，同时保持97%以上的OCR准确率。在A100-40G显卡环境下，单日可生成超过20万页的模型训练数据。

该模型采用双组件架构设计：DeepEncoder编码器负责图像特征提取与压缩，DeepSeek3B-MoE解码器则从压缩后的视觉Token中重建文本。解码器采用混合专家（MoE）架构，在300亿参数规模中仅激活约5.7亿有效参数，兼顾了模型表达能力与推理效率。当压缩率控制在10倍以内时，OCR精度稳定在97%；即使压缩率提升至20倍，准确率仍维持在60%左右。

研究团队提出了更具前瞻性的设想——模拟人类记忆衰退机制。通过逐步缩小历史上下文的图像渲染尺寸，实现Token消耗的递减免压缩。随着图像尺寸缩小，内容清晰度相应降低，最终达到类似人类记忆的渐进式遗忘效果。这种设计为处理无限上下文信息提供了理论可能，目前该方向仍处于早期探索阶段。

项目核心成员包括Haoran Wei、Yaofeng Sun和Yukun Li三位研究员。其中Haoran Wei曾主导开发第二代OCR系统GOT-OCR2.0，具备深厚的技术积累。该模型开源后迅速获得业界关注，GitHub平台累计获得超过1400个星标。

尽管市场对DeepSeek未发布R2新模型存在争议，但此次技术突破显示公司正专注于底层技术创新。光学压缩技术不仅优化了现有模型性能，更为下一代大语言模型的发展开辟了新路径。这种将文本与视觉信息深度融合的研究方向，可能成为通向通用人工智能的重要突破口。

免责声明

游乐网为非赢利性网站，所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系youleyoucom@outlook.com。

同类文章