Aria-UI_Data
收藏资源简介：
Aria-UI是一个专注于图形用户界面（GUI）指令视觉基础的数据集。它具有多功能的基础指令理解能力，能够处理各种格式的指令，并在动态场景或与不同规划代理配对时表现出强大的适应性。Aria-UI还具备上下文感知的基础能力，能够有效利用历史输入（无论是纯文本还是文本-图像交错格式）来提高基础准确性。该数据集采用轻量级和快速处理的混合专家模型，每个令牌激活3.9B参数，并支持超分辨率编码。Aria-UI在多个基准测试中取得了优异的成绩，包括在AndroidWorld上以44.8%的任务成功率获得第一名，在OSWorld上以15.2%的任务成功率获得第三名（截至2024年12月）。
Aria-UI is a dataset focused on the visual foundation of graphical user interface (GUI) instructions. It features versatile foundational instruction understanding capabilities, can handle instructions in various formats, and demonstrates strong adaptability when operating in dynamic scenarios or paired with different planning agents. Aria-UI also possesses context-aware foundational capabilities, which can effectively leverage historical inputs (whether in pure text or text-image interleaved formats) to improve foundational accuracy. This dataset adopts a lightweight and fast-processing Mixture of Experts (MoE) model that activates 3.9 billion parameters per token, and supports super-resolution encoding. Aria-UI has achieved excellent performance across multiple benchmark tests, including securing first place with a 44.8% task success rate on AndroidWorld, and ranking third with a 15.2% task success rate on OSWorld as of December 2024.
Aria-UI 数据集概述
数据集标签
- GUI
- GUI Grounding
- GUI Agent
- Computer_Use
关键特性
- 多样化的指令理解能力：Aria-UI 能够处理多种形式的指令，适应动态场景或与不同规划代理配合使用。
- 上下文感知的定位能力：Aria-UI 能够有效利用历史输入（纯文本或文本-图像交替格式）来提高定位准确性。
- 轻量且快速：Aria-UI 是一个专家混合模型，每个令牌激活的参数为 3.9B，能够高效编码不同大小和宽高比的 GUI 输入，并支持超分辨率。
- 卓越的性能：Aria-UI 在离线和在线代理基准测试中取得了新的最先进成果。在 AndroidWorld 上以 44.8% 的任务成功率获得第一名，在 OSWorld 上以 15.2% 的任务成功率获得第三名（2024 年 12 月）。
引用
如果您觉得我们的工作有帮助，请考虑引用以下文献： bibtex @article{ariaui, title={Aria-UI: Visual Grounding for GUI Instructions}, author={Yuhao Yang and Yue Wang and Dongxu Li and Ziyang Luo and Bei Chen and Chao Huang and Junnan Li}, year={2024}, journal={arXiv preprint arXiv:2412.16256}, }
