gui_agent_dataset
收藏资源简介:
Luckin_Coffee数据集包含瑞幸咖啡应用中的GUI操作轨迹数据,用于训练GUI智能代理。数据记录了用户从进入应用到完成清空购物车等一系列操作的过程,每一步操作都有详细的指令描述、思考过程和对应的屏幕截图。
The Luckin_Coffee dataset contains GUI operation trajectory data collected from the Luckin Coffee mobile application, and is intended for training GUI-based AI Agents. The dataset records the complete operational process from when a user launches the application to when they complete tasks such as emptying the shopping cart. For each individual operation step, detailed instruction descriptions, thinking processes, and corresponding screen screenshots are provided.
Luckin_Coffee 数据集概述
基本信息
- 数据集名称: Luckin_Coffee 数据集(指令ID:1)
- 用途: 训练GUI智能代理
- 数据文件: Luckin_Coffee/dataset.jsonl
- 数据格式: JSONL
数据集描述
- 内容: 包含GUI操作轨迹数据,覆盖从进入应用到清空购物车的完整操作流程
- 包含元素: 操作指令、步骤描述及对应截图
数据结构
顶层字段
id: 轨迹唯一标识(字符串)instruction: 操作指令描述(字符串)steps: 操作步骤列表(数组)screen_w: 屏幕宽度(整数)screen_h: 屏幕高度(整数)app: 应用名称(固定为"瑞幸咖啡")domain: 应用领域(固定为"点餐类")
步骤字段
action: 点击坐标(字符串,格式click(x,y))thought: 操作思考过程(字符串)file_name: 操作截图的相对路径
数据示例
json { "id": "1", "instruction": "进入瑞幸咖啡,登录账号,进入菜单,清空购物车.", "screen_w": 1080, "screen_h": 2376, "app": "瑞幸咖啡", "domain": "点餐类", "steps": [ { "action": "click(start_box=(245.16, 463.32))", "thought": "我看到微信小程序列表里有瑞幸咖啡的图标...", "file_name": "Instruction_1/trace_1/step1.jpg" }, ... ] }




