DeepSeek引爆AI圈：视觉路线成焦点，Karpathy等大佬如何评价？

近期，AI领域迎来了一项引人瞩目的技术突破——DeepSeek团队开源的DeepSeek-OCR模型凭借其独特的视觉压缩技术，在GitHub上迅速斩获超过4000个Star，引发全球开发者与科研人员的热烈讨论。该模型通过将文本转换为视觉token的方式，实现了对长文本的高效压缩与处理，为解决大模型上下文效率问题提供了全新思路。

该技术的核心在于视觉token的压缩效率革新。传统多模态模型中，视觉token通常仅用于处理图像或无法用文字描述的内容，因其空间占用远高于文本token。举例来说，一万个英文单词若转换为文本token约需15000个，而视觉token可能达到3万至6万个。但DeepSeek的研究表明，通过特殊压缩算法，视觉token的效率可提升10倍，使得原本需要10000个单词的文本，理论上仅需约1500个压缩视觉token即可完整表示。

这一突破引发了关于人类认知机制的联想。研究指出，人类大脑在回忆文本内容时，往往依赖视觉记忆定位，如记住段落所在页码、位置等信息。这种生物机制与视觉token压缩的思路不谋而合，但模型能否在压缩视觉token的基础上保持语言推理能力，仍是待解的疑问。有研究者提出，过度依赖视觉表征可能削弱模型的语言表达能力，但若能平衡效率与性能，该技术或将成为扩展模型上下文容量的关键路径。

行业反响呈现两极分化。支持者认为，结合DeepSeek此前发布的稀疏注意力机制，该技术有望使大模型上下文窗口扩展至千万级token。例如，用户可将整个代码库或企业文档集作为提示词前缀输入模型，通过缓存机制实现快速查询，无需依赖外部搜索工具。纽约大学助理教授谢赛宁对此表示认同，他曾在扩散Transformer研究中探索过视觉与文本的融合路径。

批评声音则聚焦于技术原创性。有研究者指出，哥本哈根大学2024年发表的《Language+Modelling+with+Pixels》已提出类似概念，其开发的PIXEL架构通过将文本渲染为图像，实现了跨语言的表征迁移。此后，CVPR+2024、NeurIPS+2024等会议陆续出现相关改进研究，包括仅用像素处理图像与语言的CLIPPO模型，以及利用视觉token扩展文本上下文的多模态学习方案。

尽管存在争议，DeepSeek-OCR的开源策略获得广泛认可。技术社区迅速展开实践探索，Django框架联合创始人Simon+Willison仅用4个提示词便在英伟达Spark硬件上运行该模型，耗时40分钟；科技博主NiceKate+AI则成功将其部署至Mac设备。这些案例显示，该模型在工程实现上具有较高可行性。

值得关注的是，部分研究者认为谷歌Gemini模型可能已应用类似技术。其庞大的上下文窗口与优秀的OCR性能，或源于视觉token压缩的隐藏能力。但DeepSeek的完全开源策略，使任何团队均可验证并改进这一技术，这种透明度在商业竞争中显得尤为珍贵。

在Hacker+News等平台，讨论延伸至模型认知能力的边界。有用户设想，若模型能像物理学家Hans+Bethe般记忆海量数据，将极大提升知识调用效率。例如，将整个元素周期表或代码库存入上下文窗口，可能彻底改变科研与编程模式。然而，这种“工作记忆”扩展是否以牺牲语言表现为代价，仍需更多实证研究。

免责声明

游乐网为非赢利性网站，所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系youleyoucom@outlook.com。

同类文章