导读

想象一下，您正在操作手机上的应用，点击了半天却找不到准确的按钮——这套交互逻辑的背后，实际上隐藏着深层次的技术难题。手机UI界面中包含图标、文字、按钮等众多小元素，它们层层叠加，要让大模型真正“看懂”并完成交互操作，这项任务远比处理自然图像复杂得多。

为什么会这样？核心原因有两个：一是UI屏幕的宽高比与自然图像差异显著，二是UI界面中的元素——例如一个小图标或一个字——尺寸极其微小，可能仅占屏幕面积的0.1%以下。现有的多模态大模型（MLLM）主要是为自然图像设计的，若直接套用在UI界面上，会导致大量细节信息丢失。

Ferret-UI正是针对这一痛点提出的解决方案。它基于Ferret模型进行了两项关键改进：

1. 优化了模型架构，使其能够适配不同分辨率和宽高比的UI屏幕；

2. 构建了一套涵盖14种移动UI任务的高质量数据集。

• 论文名称：Ferret-UI: Grounded Mobile UI Understanding with Multimodal LLMs

• 论文地址：https://arxiv.org/abs/2404.05719

• 代码：无

Introduction

将UI领域的专业知识融入Ferret模型，具体是如何实现的？以下两个方向同步推进：

1. 调整模型架构，使其能够处理不规则长宽比的屏幕截图；

2. 构建UI专用的指代和定位任务数据集。

模型架构

如前所述，UI截图的两个特性带来了很大挑战：宽高比不规则、元素尺寸极小。例如，许多问题聚焦于仅占屏幕0.1%不到的图标。如果直接沿用Ferret的原始输入方式，视觉细节将会变得模糊不清。

这里参考了SPHINX、LLaVA-NeXT和Monkey等模型中的“any resolution”概念。具体做法是：根据原始截图的长宽比，从两种网格配置中二选一——1x2或2x1。举个例子，如果您的手机是竖屏显示，就将其切成上下两部分；如果是横屏，则左右切分。这样划分出的子图像更接近正方形，能够更精确地锁定细节。具体的配置选择可参考表1a。

UI数据收集

与大多数UI理解研究类似，本次研究考察了iPhone和Android设备的屏幕截图，数据汇总于表1中。需要特别说明的是，Android数据在高级任务阶段未被纳入训练混合中，后续的实验将阐述这一选择所带来的影响。

任务设计

数据集的构建方法较为系统，可以归纳为三类不同的方式。

重新构建Spotlight任务。 从现有的 Spotlight 基准中提取了 screen2words、widgetcaptions 和 taperception 三个任务，并将其转换为对话式的问答对。具体做法是：借助GPT-3.5 Turbo，根据事先编写的提示模板，生成多种风格的提问：

• Screen2words：为截图撰写一段摘要；

• Widget Captions：针对某个UI元素 [bbox]，给出最能描述其功能的短语；

• Ta perception：预测 [bbox] 这个元素是否可点击。

在每个训练样本中，随机选取一条提示，与原始图像及真实答案配对。

基础任务。 本部分设计了7个任务，可分为两大类：

• 指代任务： 识别图像中的特定元素，并输出边界框进行标注。具体包括：

  • OCR（文字识别）
  • 图标识别
  • 控件分类（识别按钮、文本框等属于哪一类）

• 定位任务： 反之，描述输出中某个元素的具体位置。具体包括：

  • 控件列表：列出所有可识别的控件。
  • 查找文本：根据文本内容找到目标区域。
  • 查找图标：根据功能描述找到对应图标。
  • 查找控件：根据类型找到特定控件。

训练数据的生成流程如下图所示。

高级任务。 这四项任务的复杂度进一步提升：

1. 详细描述： 模型需对UI元素进行细致描述。

2. 功能推理： 不仅仅是识别图标，还要推测其支持的操作。

3. 对话感知与对话交互： 这两项任务均要求模型能够融入对话上下文，理解并生成与UI相关的多轮交互。

高级任务的数据生成流程同样配有专门的设计图。

Experiments

Ferret-UI-anyres是集成了anyres功能的版本。在训练过程中，仅更新解码器和投影层参数，视觉编码器保持冻结状态。总共使用了25万个训练样本，所有样本均转换为指令跟随格式。基础版（Ferret-UI-base）需训练1天，而anyres版在8块A100 GPU上大约需要训练3天。

实验结果

Analysis

实验结果的几个亮点如下：

1. 公共基准与基础UI任务： Ferret-UI全面超越了GPT-4V，尤其在指代和定位的准确性方面表现突出。

2. 高级任务： 虽然明显优于同期竞品Fuyu和CogAgent，但仍不及GPT-4V。不过这并不意外——GPT-4V在模型参数规模和训练数据量方面具有显著优势。

3. 分辨率调整的效果： 在iPhone基础任务中，引入anyres后，指代和定位指标提升了2个百分点。高级任务的提升效果更加显著——iPhone方面的性能直接提升了20个百分点。然而，值得注意的是，Android高级任务的性能反而有所下降。原因很可能在于Android高级任务数据未被纳入训练混合中，随着模型对iPhone屏幕理解深度的增加，其有限的泛化能力被“挤占”了。

此外，消融实验还揭示了一个有趣的现象：基础任务实际上是在为模型“打地基”——增强的视觉和空间理解能力反过来有助于执行高级任务。换言之，只有夯实了基础，高层推理才能稳固。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：Ferret-UI:多模态大模型赋能手机UI理解要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题