AndroidControl-Curated
收藏资源简介：
AndroidControl-Curated是一个经过严格净化流程改进的基准数据集，用于评估GUI代理的真实性能。该数据集解决了原始AndroidControl基准中的模糊性和事实错误问题，包含简单和困难两个版本的任务，能够更准确地反映GUI代理的实际能力。在增强后的基准上，最先进的模型在复杂任务上的成功率接近80%，表明设备上的GUI代理比之前认为的更接近实际部署。
AndroidControl-Curated is a rigorously refined benchmark dataset developed through strict purification workflows, designed to evaluate the real-world performance of GUI agents. This dataset addresses the ambiguities and factual errors present in the original AndroidControl benchmark, and includes two task variants: simple and hard, which enable more accurate reflection of the actual capabilities of GUI agents. On this enhanced benchmark, state-of-the-art models achieve a success rate of nearly 80% on complex tasks, demonstrating that on-device GUI agents are far closer to practical deployment than previously assumed.
AndroidControl-Curated 数据集概述
数据集基本信息
- 数据集名称: AndroidControl-Curated
- 官方论文: AndroidControl-Curated: Revealing the True Potential of GUI Agents through Benchmark Purification
- Hugging Face数据集地址: https://huggingface.co/datasets/batwBMW/AndroidControl_Curated
- Hugging Face模型地址: https://huggingface.co/batwBMW/Magma-R1
数据集背景与目的
AndroidControl-Curated是一个经过优化的GUI代理基准测试数据集，旨在解决原始AndroidControl基准测试中存在的模糊性和事实错误问题。该数据集通过严格的净化流程改进，更准确地评估GUI代理的真实能力。
数据集特点
- 改进重点: 解决基准测试中的系统性问题，包括模糊性和事实错误
- 评估方法: 使用边界框意图对齐替代严格的点匹配评估
- 数据规模: 仅使用2,400个精选样本训练即可达到与31,000个原始样本相当的性能
性能表现
在AndroidControl-Curated基准测试上，最先进的模型在复杂任务上的成功率接近80%，显著高于原始基准测试约60%的表现。
数据集文件结构
数据集包含以下测试集文件：
- android_control_high_bbox.json
- android_control_high_point.json
- android_control_low_bbox.json
- android_control_low_point.json
- android_control_high_task-improved.json
评估指标
- 类型准确率 (Type %): 动作类型预测准确率
- 定位准确率 (Grounding %): 使用E_bbox评估的定位准确率
- 成功率 (SR %): 任务执行成功率
相关模型
- Magma-R1: 在该数据集上训练的新SOTA模型
- 支持模型: 包括OS-Atlas-4B、UI-R1、GUI-R1系列、Qwen3-VL系列等
引用信息
bibtex @article{leung2025androidcontrolcurated, title={AndroidControl-Curated: Revealing the True Potential of GUI Agents through Benchmark Purification}, author={LEUNG Ho Fai (Kevin) and XI XiaoYan (Sibyl) and ZUO Fei (Eric)}, journal={arXiv preprint arXiv:XXXX.XXXXX}, year={2025}, institution={BMW ArcherMind Information Technology Co. Ltd. (BA TechWorks)} }
