Voxel51/FiftyOne-GUI-Grounding-Train

这是一个包含739个注释GUI屏幕截图的FiftyOne数据集，用于训练计算机视觉模型理解和交互图形用户界面。该数据集采用了专门为GUI设计的COCO4GUI格式，扩展了标准COCO检测格式以处理GUI特定特征、交互序列和丰富的元数据。数据集涵盖了各种应用程序和平台上的真实用户界面交互，包含UI元素的边界框注释和交互位置（点击、轻触等）的精确关键点注释。This is a FiftyOne dataset with 739 annotated GUI screenshots designed for training computer vision models to understand and interact with graphical user interfaces. The dataset uses the specialized COCO4GUI format, which extends the standard COCO detection format to handle GUI-specific features, interaction sequences, and rich metadata.

搜集汇总

数据集介绍

构建方式

该数据集通过一款专门的GUI注释工具，对真实用户界面交互过程进行实时截图采集与标注。工具支持在截图过程中交互式绘制UI元素的边界框，并精确标注点击、输入等交互位置的关键点坐标。同时，系统自动捕获应用名称、操作系统、时间戳等元数据，允许标注者补充任务描述与元素信息。所有数据以COCO4GUI格式导出，该格式在标准COCO检测格式基础上扩展了GUI特定的交互类型、序列信息和丰富属性，最终整合至FiftyOne平台，形成包含739个样本的高质量训练集。

特点

该数据集的一大特色在于同时提供UI元素的边界框与交互位置的精确关键点标注，兼具空间定位与精准互动预测能力。其COCO4GUI格式囊括七种交互类型——点击、输入、选择、悬停、拖拽、右键与双击——并记录任务描述、动作类型、元素信息等丰富属性。此外，数据集支持多步骤工作流的序列追踪，且可通过FiftyOne平台直接访问预计算的CLIP嵌入、UMAP可视化和独特性评分，为数据探索与模型训练提供深度分析支持。

使用方法

数据集依托FiftyOne平台实现便捷加载与使用。用户首先通过pip安装fiftyone库，随后调用fiftyone.utils.huggingface模块中的load_from_hub函数，传入数据集的HuggingFace标识符，即可将739张标注截图及其元数据完整载入。加载后的数据集可直接启动Fiftyone图形界面进行交互式探索与标注审查，也可结合OpenMMLab等框架进行目标检测或关键点定位模型的训练与评估，适用于GUI理解自动化等下游任务。

背景与挑战

背景概述

在智能化人机交互与计算机视觉的交叉领域，模型对图形用户界面的理解能力是构建自主Agent系统的关键基石。FiftyOne-GUI-Grounding-Train数据集由Harpreet Sahota于2025年创建，并由Voxel51资助，旨在解决现有数据集中GUI标注粒度不足、缺乏交互语义的问题。该数据集收录了739张涵盖多种应用与平台的GUI截图，采用创新的COCO4GUI标注格式，不仅提供了UI元素的边界框，还精细标注了点击、键入等七类交互动作的关键点坐标与任务描述元数据，为从空间定位到动作预测的全链路GUI理解研究提供了标准化评估基准。其发布填补了面向交互式GUI感知的高质量标注数据空白，推动了视觉语言模型在界面操作任务中的应用探索。

当前挑战

领域核心挑战在于将通用的目标检测方法适配至GUI特有的空间语义与交互逻辑：相比自然图像，GUI元素具有密集、排列规则、语义功能强等特点，要求模型同时理解界面布局、元素功能与操作序列。构建过程中面临多重困难，包括跨平台界面差异显著（当前数据以macOS为主），不同分辨率与窗口状态下的元素尺度变化；标注需兼顾边界框与精确点击坐标，且交互序列的时序关联增加了标注复杂度；此外，截图可能泄露用户隐私信息（如应用内容），要求在数据采集与发布中严格平衡研究价值与隐私保护。这些因素共同制约着模型在真实异构环境中的泛化能力。

常用场景

经典使用场景

在图形用户界面（GUI）理解与自动化领域，FiftyOne-GUI-Grounding-Train数据集为训练视觉模型提供了高度专业化的标注样本。其经典使用场景聚焦于GUI元素检测与交互点预测，研究者可基于739张涵盖点击、输入、拖拽等七类操作注释的截图，训练模型同时识别UI组件区域并定位精确交互坐标。该数据集采用COCO4GUI扩展格式，融合了边界框与关键点标注及丰富的元数据字段，尤其适用于构建具备GUI理解能力的视觉代理系统，为端到端的界面操作推理提供了标准化训练基础。

解决学术问题

该数据集有效回应了计算机视觉与人机交互交叉领域中的核心挑战：如何在缺乏结构化标注的情况下，使模型具备对GUI组件空间分布和用户意图的双重理解能力。学术研究中，它解决了从静态界面截图到动态交互行为映射的难题，支撑了基于视觉的GUI定位、跨步骤工作流建模以及界面语义解析等方向的研究。其意义在于提供了一个兼顾细粒度空间标注和行为语义注释的基准，推动了交互式AI代理从感知到行动的闭环推理能力发展，对理解人类与数字界面的交互模式具有方法论上的开创性影响。

衍生相关工作

该数据集衍生了多项具有代表性的研究工作，涵盖GUI视觉推理、交互序列建模与数据高效学习等方向。例如，基于其COCO4GUI格式，研究者开发了结合CLIP视觉嵌入与UMAP降维的数据探索方法，用以分析样本多样性与代表性。在模型层面，衍生工作探索了利用关键点与边界框联合训练的双流网络架构，用于同时预测UI组件类别与交互热点。此外，该数据集被集成至FiftyOne生态中，推动了GUI数据增强策略的研究，如通过图像混合与扰动提升模型在未见界面上的泛化性能，为后续多模态GUI理解工作提供了基准与启发。