英伟达开源统一VLM视觉定位模型LocateAnything

一、LocateAnything 是什么

先给出几个核心判断：视觉语言模型（VLM）在图像定位方面，长期被一个看似微小的问题拖累——它习惯用“写作文”的方式去“画框”。

LocateAnything 正是英伟达（NVIDIA）联合香港理工大学、普林斯顿大学、南京大学、伊利诺伊大学等高校，针对这一痛点推出的解决方案。这是一个开源的统一视觉语言定位检测框架，核心版本为 LocateAnything-3B（30亿参数），而它真正的王牌，叫做Parallel Box Decoding（PBD并行框解码）。

传统VLM是如何做定位的？它会将图像中一个二维边界框拆成多个独立的坐标Token，然后逐个生成。这一串过程需要十几到二十几步——推理延迟高不说，遇到高重叠目标时边界容易失真，因为Token之间的几何关系在串行生成中基本断裂。

LocateAnything 的思路则完全不同：它将边界框和点标注视为一个完整的“原子单元”，一次性并行输出全部坐标。加上自研的千万级多领域训练数据集 LocateAnything-Data，一套模型即可覆盖6大类视觉定位任务。实测数据也很出色：单张H100 GPU上，吞吐量在LVIS、COCO、DocLayNet、ScreenSpot-Pro等数十项基准数据集上均取得最优效果。轻量化部署、毫秒级推理、高精度定位——端侧智能体、文档解析、工业质检、自动化GUI测试等场景都能适配。

二、功能特色

1. 全任务统一视觉定位（单模型覆盖6大场景）

无需切换模型，一套框架搞定所有空间感知任务：

• 开放集通用目标检测：自然图像、航拍密集小目标、重叠遮挡物体识别；

• GUI界面元素定位：软件按钮、图标、工具框选，支撑AI智能体自动操作软件；

• 指代表达理解：通过自然语言描述精准框选指定物体（例如“灶台控制面板上的五个旋钮”）；

• OCR文本定位：路牌、印刷文档、表格文字区域精准分割；

• 文档版面布局识别：区分标题、段落、图表、表格、页眉页脚；

• 点标注精细定位：像素级单点目标标注，适配细粒度质检、农业图像分析。

2. 三重推理模式自适应切换，平衡速度与精度

• Fast快速模式（MTP）：全程并行解码，吞吐量最高，适合机器人、实时端侧等对延迟敏感的场景；

• Slow高精度模式（NTP）：传统自回归解码，精度上限最高，多用于离线数据集标注、高精度质检；

• Hybrid混合模式（官方默认）：优先并行快速推理，一旦检测到格式异常或密集空间歧义，自动局部切换到串行重解码。结果呢？保留了90%以上的速度增益，同时输出稳定无错框。

3. 速度大幅领先同类VLM，密集场景优势显著

单H100 GPU混合模式吞吐量达12.7 BPS（每秒处理框数）。什么概念？是Qwen3-VL的10倍以上、Rex-Omni的2.5倍。而且图像内目标数量越多，加速比越高——在300个密集堆叠目标的场景下，可实现2至6倍推理提速，串行解码那种延迟暴涨的问题在此不复存在。

4. 高IoU精细定位能力突出

对比同类模型，LocateAnything在IoU=0.95这个超高重合度指标上的提升幅度最大。对于重叠、遮挡、微小物体，它的边界贴合度更接近真实标注。航拍、种子质检、密集文档场景下，误差远低于竞品。

5. 轻量化开源易部署

参数仅3B，普通消费级RTX 3060/4060甚至MacBook M系列芯片就能本地运行。兼容Transformers、vLLM、SGLang等主流推理框架，提供OpenAI标准API接口，还支持Docker一键部署。配套的在线Demo、Jupyter教程、预训练权重也已全部放出。

6. 海量多领域训练数据支撑泛化性

自研的LocateAnything-Data数据集包含1200万独立图像、1.38亿语言查询、7.85亿标注边界框，覆盖自然图像、UI界面、文档、航拍、工业、文本6大类场景。小模型泛化弱、小众场景漏检的问题，在此得到有效缓解。

三、技术细节

1. 核心创新：Parallel Box Decoding（PBD并行框解码）

不妨回顾一下传统的三代解码范式：

1. 文本数字解码：21步逐一生成单个坐标Token，串行效率极低；

2. 量化坐标解码：10步分段串行，Token之间的几何关联性基本丢失；

3. PBD并行框解码：将单个边界框(x₁,y₁,x₂,y₂)视为完整原子单元，仅需2步并行输出整套坐标。框内的几何约束天然保留，坐标错位、畸形框这类问题从根源上被杜绝。

同时，它还内置了一套推理异常修复机制：当并行解码出现格式错乱或密集目标歧义时，自动丢弃错误预测块，回退到可靠前缀，用NTP串行重解码后再切回并行模式。速度与鲁棒性兼得。

2. 模型整体架构

视觉编码器采用Moon-ViT，原生分辨率提取视觉Token，细粒度空间细节保留得很好，这是高精度定位的基础。跨模态桥接端，通过MLP投影层将视觉特征转换为语言解码器可识别的序列。语言解码器为Qwen2.5-3B，负责输出带坐标信息的结构化文本序列，实现图文对齐。训练策略上，采用MTP并行和NTP串行的双流联合训练，高速推理和精度上限同时优化。

3. LocateAnything-Data数据集分布（按查询占比）

通用目标检测占66.9%，GUI界面定位16.5%，指代表达理解7.3%，OCR文本定位3.6%，文档版面3.5%，点标注2.2%。整合了COCO、LVIS、Object365、ScreenSpot-Pro、DocLayNet、HumanRef等上百套公开数据集，工业、办公、自动驾驶、机器人全领域的标注数据都覆盖到了。

4. 性能核心指标（单NVIDIA H100，混合模式）

• 吞吐量：12.7 BPS；

• LVIS平均F1：50.7，IoU0.95指标31.1；

• COCO平均F1：54.7；

• GUI ScreenSpot-Pro平均F1：60.3；

• 文档DocLayNet F1：76.8、M6Doc F1：70.1；

• 密集航拍VisDrone平均F1：39.9。

四、应用场景

1. 多模态AI智能体（GUI Agent）
   自动识别软件按钮、菜单、输入框，实现浏览器、办公软件的自动化操作。替代人工重复操作，自动化测试、办公机器人都是典型的落地场景。

2. 文档智能解析
   PDF或扫描件的版面分割、表格/标题/图片提取、全文OCR文字定位。档案数字化、财务票据识别、论文图表抽取这些任务，它能派上大用场。

3. 工业视觉质检
   高密度堆叠工件、种子、零件的计数与缺陷定位。一张图里数百个重叠目标快速检测，人工标注与质检成本能降不少。

4. 自动驾驶&航拍图像分析
   无人机航拍中的建筑、车辆、植被等密集目标识别，交通路况中的小目标检测。海量航拍数据的批量处理不在话下。

5. 开放集图像检索与标注
   用自定义文字描述从图像里检索目标，自动生成标注框。快速构建行业专用数据集，减少人工标注工时。

6. 机器人具身感知
   家用或工业机器人的视觉空间定位，根据语言指令抓取指定物体。低延迟并行推理，适配端侧嵌入式设备。

7. 图文检索与内容审核
   精准定位图像内的违规物体、文字区域。平台内容安全审核、商品图文检索都可以借助它来完成。

五、使用方法

方式1：HuggingFace在线Demo快速体验

直接访问官方的HF演示页面，上传图片、输入自然语言查询，一键就能生成定位框。不需要本地部署，快速验证效果很便捷。

方式2：本地代码部署（vLLM一键启动）

1. 环境准备：安装PyTorch、vLLM、Transformers依赖包，配备NVIDIA GPU或M系列Mac；

2. 启动服务命令：

vllmserve"nvidia/LocateAnything-3B"

3. 通过标准OpenAI兼容API传入图片和文本提示词，调用定位结果；

4. 官方标准化提示词模板：

• 目标检测：Locate all the instances that matches the following description: [目标描述]

• GUI定位：Locate the region that matches the following description: [界面元素描述]

• OCR定位：Locate all text areas in the image.

方式3：云平台一键运行（HyperAI/OpenBayes）

1. 进入云平台教程页面，搜索LocateAnything教程；

2. 克隆教程容器，选择RTX 4090/5090算力与PyTorch镜像；

3. 分配资源后打开Jupyter工作空间，运行Notebook代码，跳转内置可视化Demo。

方式4：微调适配行业私有数据集

加载预训练权重，基于自有行业图像标注数据微调。密集小目标、特殊工业物体的专属优化都可以做，最终输出适配业务场景的专用模型。

六、竞品对比

我们选取了主流的视觉语言定位模型Qwen3-VL、Rex-Omni，与LocateAnything-3B做了一个横向对比。数据均来自官方论文实测：

七、常见问题解答（FAQ）

Q1：LocateAnything支持哪些硬件本地运行？

A：本地部署支持NVIDIA RTX 3060及以上消费级显卡、A/H系列专业GPU；苹果M1/M2/M3系列MacBook可通过CPU或统一内存运行，推理速度略低于同规格NVIDIA显卡。

Q2：混合模式（Hybrid）相比纯Fast模式精度下降多少？

A：COCO基准下Fast模式F1=52.2，Hybrid混合模式F1=54.7，仅比Slow高精度模式55.1小幅下降，同时保留12.7BPS高吞吐量，速度损耗极低。

Q3：LocateAnything可以处理视频连续帧定位吗？

A：原生支持单图像批量推理，可搭配帧抽取工具实现视频逐帧目标定位。PBD并行解码能大幅降低批量帧处理耗时，适合短视频批量检测场景。

Q4：模型是否支持中文自然语言查询？

A：原生英文提示词效果最优，同时兼容中文描述输入。如果追求极致的中文GUI、文档定位效果，可以基于自有中文标注数据集微调优化。

Q5：LocateAnything-Data数据集是否对外开放下载？

A：官网标注数据集即将开放（Incoming）。现阶段开发者可使用预训练模型，或基于公开数据集复现训练流程。

Q6：相比Grounding DINO专用检测模型，LocateAnything优势在哪？

A：Grounding DINO仅支持通用目标检测，无法处理GUI、文档OCR、版面布局任务。LocateAnything单模型覆盖6大类定位任务，推理速度更快，密集重叠目标的精度也更高。

Q7：部署时显存最低需要多少？

A：FP16推理最低8GB显存可加载3B模型。批量处理密集图像建议16GB及以上显存，vLLM推理框架可以优化显存占用。

八、官方链接

1. 项目官方主页：https://research.nvidia.com/labs/lpr/locate-anything/

2. arXiv论文预印本：https://research.nvidia.com/labs/lpr/locate-anything/LocateAnything.pdf

3. HuggingFace模型：https://huggingface.co/nvidia/LocateAnything-3B

4. GitHub仓库地址：https://github.com/NVlabs/Eagle/tree/main/Embodied

九、总结

LocateAnything是英伟达在视觉语言定位领域一次非常务实的革新。它用独创的并行框解码PBD技术，打破了传统VLM串行推理的瓶颈；搭配千万级多领域标注数据集，在速度和定位精度上实现了双重突破。3B的轻量化小模型，就能在通用目标检测、GUI智能体、文档OCR、航拍密集识别等多元场景达到SOTA水准。三种自适应推理模式兼顾实时性与高精度需求，配合极低的部署门槛、完整的开源生态和标准化的API接口，为自动化智能体、工业质检、文档数字化等视觉空间感知业务，提供了一条高效、低成本的落地路径。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：英伟达开源统一VLM视觉定位模型LocateAnything要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题