视觉多模态模型正式迈入 MoE 时代

在上一代 DeepSeek-VL 发布九个月后，全新 DeepSeek-VL2 终于重磅亮相。这一次，MoE 架构与动态切图的协同配合，让视觉能力实现了质的飞跃。从视觉定位到梗图解析，从 OCR 识别到故事生成，该模型提供 3B、16B 和 27B 三种参数规格，现已全部开源。

模型亮点

• 训练数据量相较上一代翻了一番，并新增了梗图理解、视觉定位、视觉故事生成等核心能力。
• 视觉模块采用智能切图策略，支持任意动态分辨率的图像输入；语言模块则运用 MoE 架构，在保持高性能的同时有效平衡了计算成本。
• 延续三阶段训练流程，通过负载均衡机制适配不定数量的图像切片，对图像和文本数据分别采用不同的流水并行策略。MoE 语言模型引入专家并行技术，大幅提升了训练效率。

目前，模型权重与相关论文已同步公开发布。

测评结果

从多项评测指标来看，DeepSeek-VL2 的表现全面超出预期，优势十分显著。

案例展示

动态分辨率支持

DeepSeek-VL2 仅采用单颗 SigLIP-SO400M 作为图像编码器，通过将图像分割为多张子图并附加一张全局缩略图的方式，巧妙实现了动态分辨率支持。该方案使模型最高可处理 1152×1152 分辨率图像，同时也能从容应对 1:9 或 9:1 等极端长宽比场景，极大拓展了适用范围。

图表理解

得益于大量科研文档数据的注入，DeepSeek-VL2 能够准确理解并解读各类科研图表。

Plot2Code

融合图像理解与代码生成的双重能力，DeepSeek-VL2 已成为逆向还原绘图任务的得力助手。

Prompt: Draw a plot similar to the image in Python.

梗图识别

更大规模、更多样化的训练数据让 DeepSeek-VL2 能够精准解析各类 Meme，有时它的理解能力甚至超越人类。

Visual Grounding

大语言模型的视觉能力已远不止于封闭类别的物体识别。

• Zero-shot grounding（零样本定位）：用户可通过任意自然语言描述，让 DeepSeek-VL2 在图像中精准定位目标区域（模型仅输出边界框坐标，不直接在原图画框）。例如，在下图中定位“DeepSeek Whale”（吉祥物虎鲸）。
• In-context grounding（上下文定位）：仅需提供一个示例，模型即可举一反三。Prompt：<|grounding|>In the first image, an object within the black ellipse is highlighted. Please locate the object of the same category in the second image.
• Grounded conversation（基于定位的对话）：融合视觉感知与语言推理能力，实现更丰富的交互式对话。例如，拿着下图询问“If you feel hot, what will you do?”，模型会回答：“To cool down, you can use <|ref|>the fan<|det|>[[166, 460, 338, 712]] which is sitting on the desk.”

Visual Storytelling

用户可以输入多张图像，让 DeepSeek-VL2 将它们串联成一段生动有趣的童话故事。

视觉模型的未来

视觉是人类获取信息的主要通道，约占信息总量的 80%。但在大模型时代，视觉领域的发展速度始终慢于语言模型。有一点毋庸置疑：提升模型的视觉理解能力，不仅是为了扩展输入模态，更是全方位提升人工智能感知与认知水平的关键一步。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：DeepSeek-VL2 视觉语言模型正式发布要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题