MoGUI😈 and MoCon🛡️

MoGUI😈，中文读音为“魔鬼”，是一个手机界面（Mobile GUI）数据集。包含来自25万个应用程序的超过260万个界面数据，每个界面数据包含界面截图和.xml结构元数据，每个应用程序还包括一个导航图（navigation graph），旨在明确爬取过程中不同界面的跳转关系。我们还提供这些应用程序在Google Play商店的元数据。 MoCon🛡️，中文读音为“魔抗”，是一个对手机界面元素（Mobile Contents）进行标注的数据集。我们从Rico数据集中抽取了超过1万个手机界面，并对界面中的所有元素进行标注，将文本按照字体分为7类，将图标按照形状和意图分为154类。MoGUI😈, pronounced as "móguǐ" in Mandarin Chinese, is a mobile graphical user interface (Mobile GUI) dataset. It contains over 2.6 million interface samples from 250,000 applications. Each interface sample includes a screenshot and .xml structural metadata, and each application also comes with a navigation graph that clarifies the transition relationships between different interfaces during the crawling process. We also provide the metadata of these applications from the Google Play Store. MoCon🛡️, pronounced as "mókàng" in Mandarin Chinese, is a dataset for annotating mobile interface elements (Mobile Contents). We extracted over 10,000 mobile interfaces from the Rico dataset, and annotated all elements within the interfaces: text is categorized into 7 classes based on font styles, and icons are classified into 154 classes according to their shapes and intents.

原始信息汇总

数据集概述

MoGUI😈

• 类型: 移动GUI数据集
• 规模: 包含超过2.6百万个GUI数据，来自超过25万个应用程序
• 内容: 每个GUI数据包括截图和.xml元数据，每个应用程序还包括导航图，用于明确爬取不同GUI之间的跳转关系
• 来源: 提供这些应用程序在Google Play的元数据

MoCon🛡️

• 类型: 移动GUI内容标注数据集
• 规模: 从Rico数据集中提取超过1万个移动GUI
• 内容: 标注了GUI中的所有元素，将文本分为7个类别，图标根据形状和意图分为154个类别

数据集发布信息

• MoGUI😈发布日期: 2024年2月29日
• MoCon🛡️发布日期: 2024年3月1日

引用信息

• MoGUI和MoCon技术报告

  • 作者: Zichen Zhu, Liangtai Sun, Danyang Zhang, Ziyuan Li, Guangpeng Li, Lu Chen, Kai Yu
  • 年份: 2024
  • 出版方式: 链接

• META-GUI: Towards Multi-modal Conversational Agents on Mobile GUI

  • 作者: Liangtai Sun, Xingyu Chen, Lu Chen, Tianle Dai, Zichen Zhu, Kai Yu
  • 会议: 2022 Conference on Empirical Methods in Natural Language Processing
  • 页码: 6699-6712
  • 年份: 2022

• CAM-GUI: A Conversational Assistant on Mobile GUI

  • 作者: Zichen Zhu, Liangtai Sun, Jingkai Yang, Yifan Peng, Weilin Zou, Ziyuan Li, Wutao Li, Lu Chen, Yingzi Ma, Danyang Zhang 等
  • 会议: National Conference on Man-Machine Speech Communication
  • 页码: 302-315
  • 年份: 2023
  • 组织: Springer

搜集汇总

数据集介绍

构建方式

在构建MoGUI😈和MoCon🛡️数据集的过程中，研究团队采用了大规模的移动应用GUI数据采集方法。MoGUI😈数据集通过从Google Play中抓取超过25万个应用程序的GUI截图和对应的.xml元数据，构建了一个包含超过260万条GUI数据的庞大数据库。每个GUI数据不仅包含截图，还附带了导航图，以明确展示不同GUI之间的跳转关系。而MoCon🛡️数据集则从Rico数据集中提取了10,000多个移动GUI，并对这些GUI中的元素进行了详细标注，将文本分为7类，图标分为154类，依据其字体、形状和意图进行分类。

使用方法

使用MoGUI😈和MoCon🛡️数据集时，研究者可以通过访问Hugging Face平台获取数据。MoGUI😈数据集适用于需要大规模移动应用GUI数据的研究，如应用界面分析、用户行为预测等。而MoCon🛡️数据集则更适合于需要精细GUI元素标注的研究，如文本和图标的分类、意图识别等。在使用过程中，研究者应遵循数据集的引用要求，确保学术诚信，并通过提供的联系方式与数据集维护团队进行沟通，以获取更多技术支持。

背景与挑战

背景概述

MoGUI😈与MoCon🛡️数据集是由上海交通大学的研究团队于2024年创建，主要研究人员包括Zichen Zhu、Liangtai Sun等。该数据集的核心研究问题在于提供大规模的移动图形用户界面（GUI）数据，旨在支持多模态对话代理在移动设备上的应用。MoGUI😈包含了超过260万条来自25万多个应用程序的GUI数据，每条数据包括截图和XML元数据，并附有导航图，以明确捕捉不同GUI之间的跳转关系。MoCon🛡️则专注于对移动GUI内容的标注，从Rico数据集中提取了1万多个移动GUI，并对所有元素进行了详细标注，将文本分为7类，图标分为154类。这些数据集的发布对移动应用分析、用户界面设计和多模态对话系统的发展具有重要影响。

当前挑战

MoGUI😈与MoCon🛡️数据集在构建过程中面临多项挑战。首先，收集和处理超过260万条GUI数据需要高效的爬虫技术和强大的数据存储与管理能力。其次，对GUI内容进行详细标注，特别是将文本和图标分类，需要精确的算法和大量的人工校验，以确保标注的准确性和一致性。此外，数据集的规模和复杂性也带来了数据隐私和安全性的挑战，如何在保证数据可用性的同时保护用户隐私是一个重要问题。最后，如何有效地利用这些数据集进行多模态对话系统的训练和优化，也是一个亟待解决的研究难题。

常用场景

经典使用场景

在移动应用界面分析领域，MoGUI😈和MoCon🛡️数据集的经典使用场景主要集中在界面导航和内容标注。MoGUI😈通过提供超过250,000个应用的2.6百万个GUI截图及其对应的.xml元数据，以及应用间的导航图，为研究者提供了详尽的界面跳转关系。MoCon🛡️则通过从Rico数据集中提取的10,000个移动GUI，并对其中的元素进行细致标注，为界面内容的分类和识别提供了丰富的数据支持。

解决学术问题

MoGUI😈和MoCon🛡️数据集在学术研究中解决了移动应用界面分析中的多个关键问题。MoGUI😈通过其庞大的数据量和详细的导航图，为界面跳转关系的研究提供了坚实的基础，有助于理解用户在应用间的导航行为。MoCon🛡️则通过其精细的标注，解决了界面元素分类和识别的难题，为多模态对话代理在移动GUI上的应用提供了数据支持，推动了移动界面交互研究的发展。

实际应用

在实际应用中，MoGUI😈和MoCon🛡️数据集被广泛应用于移动应用的用户体验设计和优化。MoGUI😈的导航图数据帮助开发者优化应用的导航结构，提升用户体验。MoCon🛡️的精细标注数据则被用于训练界面元素识别模型，这些模型在自动化测试、用户行为分析和个性化推荐系统中发挥了重要作用，显著提升了移动应用的智能化水平。

数据集最近研究

最新研究方向

在移动界面设计与交互领域，MoGUI😈和MoCon🛡️数据集的最新研究方向主要集中在多模态对话代理的开发与优化。MoGUI😈数据集通过提供超过250,000个应用程序的260万张截图及其对应的.xml元数据，以及导航图，为研究者提供了丰富的移动界面跳转关系数据。MoCon🛡️数据集则通过从Rico数据集中提取并标注的10,000多个移动界面，进一步细化了文本和图标的分类，为界面内容分析提供了详尽的标注信息。这些数据集的发布，极大地推动了多模态对话系统在移动界面上的应用研究，尤其是在自然语言处理和用户界面设计交叉领域的创新应用。