AI2_Alphabot_2_open_microwave

AI2_Alphabot_2_open_microwave 是一个真实世界机器人操作数据集，专注于双手机器人操作微波炉的任务。数据集基于LeRobot格式扩展并完全兼容LeRobot框架，核心任务是让机器人使用一只手按下按钮打开微波炉门，另一只手关闭微波炉门。它包含392个完整操作片段，总计337,551帧，数据量达7.91 GB。数据采集自AI2_Alphabot_2双手机器人，配备双指末端执行器，通过VR控制器进行遥操作。传感器配置包括四个RGB相机：前胸相机、前头相机、左腕相机和右腕相机，所有相机以30 FPS录制，分辨率为640x480，视频编码为AV1。数据集提供丰富的多模态数据：观察数据包括四个视角的视频流以及34维的机器人状态（包含左右机械臂的7个关节角度、末端执行器的位置与欧拉角、夹爪开合状态以及颈部和躯干关节角度）；动作数据为对应的34维控制命令。此外，数据集还包含时间戳、帧索引、片段索引等元数据，并提供关于末端执行器加速度大小、方向、速度以及夹爪活动模式和状态的标注文件，支持多种机器人学习方法的训练与评估，适用于机器人模仿学习、操作技能学习等研究领域。

原始信息汇总

数据集概述

数据集名称: AI2_Alphabot_2_open_microwave
所属项目: RoboCOIN
格式: 基于 LeRobot 扩展格式，完全兼容 LeRobot
许可证: Apache-2.0

---

任务描述

• 主要任务: 单手按下按钮打开微波炉门，另一只手关闭微波炉门。
• 操作类型: 固定双臂操作（fixed_dual_arm）
• 环境类型: 真实世界（real_world）
• 原子动作: press（按压）、push（推）

子任务数量: 1 个
标准任务指令: Press the button to open the microwave door with one hand; close the microwave door with the other hand.

---

场景与物体

• 场景类型: 餐饮→餐厅（Catering->Restaurant）
• 物体: 白色微波炉（microwave oven(white)）

---

机器人配置

• 机器人名称: AI2_Alphabot_2
• 代码库版本: v2.1
• 末端执行器类型: 两指末端执行器（two_finger_end_effector）
• 遥操作类型: VR 控制器（vr_controller）

---

数据集统计

指标	值
总集数	392
总帧数	337,551
总任务数	1
总视频数	1,568
数据块数	1
块大小	1,000
FPS	30
状态维度	34
动作维度	34
相机视角数	4
数据集大小	7.91 GB

数据划分:

• 训练集: 第 0 至 391 集（全部）

---

传感器与硬件

传感器列表:

• cam_front_chest_rgb（胸前RGB，640×480，AV1编码，30 FPS）
• cam_front_head_rgb（头部前RGB，640×480，AV1编码，30 FPS）
• cam_left_wrist_rgb（左手腕RGB，640×480，AV1编码，30 FPS）
• cam_right_wrist_rgb（右手腕RGB，640×480，AV1编码，30 FPS）

坐标系定义: 右手坐标系（right-hand-frame）

维度与单位:

• 关节旋转：弧度（radian）
• 末端执行器旋转：弧度（radian）
• 末端执行器平移：米（meter）

---

数据结构

数据文件模式: data/chunk-{id}/episode_{id}.parquet
视频文件模式: videos/chunk-{id}/observation.images.<相机名称>/episode_{id}.mp{id}

文件树示例（以 AI2_Alphabot_2_open_microwave_0_qced_hardlink/ 为根）:

• annotations/ → 包含 5 个 JSONL 注解文件
• data/chunk-000/ → 包含 392 个 Parquet 数据文件
• meta/ → 包含 episodes.jsonl、tasks.jsonl 等元数据
• videos/chunk-000/ → 包含 4 个相机视角的子文件夹
• info.yaml

特征（部分主要维度）:

• observation.state → 34维，包含双臂关节位置、末端执行器位姿、夹爪开合、颈部及躯干关节等
• action → 34维，与状态对应的动作指令
• 额外特征：timestamp, frame_index, episode_index, gripper_open_scale_state, eef_sim_pose_state 等

---

可用注释

数据集包含 5 个 JSONL 格式的注释文件：

• eef_acc_mag_annotation.jsonl
• eef_direction_annotation.jsonl
• eef_velocity_annotation.jsonl
• gripper_activity_annotation.jsonl
• gripper_mode_annotation.jsonl

---

标签

• RoboCOIN
• LeRobot

---

贡献者与引用

• 贡献方: 北京人工智能研究院（BAAI）RoboCOIN 团队
• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 仓库: https://github.com/FlagOpen/RoboCOIN
• 引用格式: 参见页面中的 BibTeX 条目。

搜集汇总

数据集介绍

构建方式

该数据集源自RoboCOIN团队在真实世界餐饮场景中开展的机器人操控实验，旨在记录双臂协同操作微波炉的精细动作。通过VR控制器遥操作AI2_Alphabot_2机器人，以30帧/秒的采样率采集了392段、总计337,551帧的示范数据。数据采用基于LeRobot的扩展格式进行组织，将多视角RGB视频（涵盖胸部、头部及双腕摄像头）、34维关节状态与动作序列、以及丰富的语义注释（如末端执行器加速度、方向、速度与夹爪活动状态）统一封装为Parquet与AV1视频文件，并提供了标准化的训练集划分。

特点

该数据集聚焦于固定双臂操作任务，强调单手按压微波炉按钮与另一手关闭舱门的交替协作，涉及按压、推拉等原子动作。其核心特色在于多模态数据融合——除34维状态和动作空间外，还包含末端执行器模拟位姿、夹爪开合尺度及方向、速度等高级语义标签，并提供了5类JSON格式的细粒度注释。此外，数据集借助四路640×480分辨率的RGB摄像头实现全方位观测，所有视频均采用AV1编码以平衡质量与存储，整体规模约7.91 GB，充分支持模仿学习与技能迁移研究。

使用方法

数据集完全兼容LeRobot框架，可直接通过其数据加载接口进行读取。用户可按标准路径索引data/chunk-{id}/episode_{id}.parquet文件获取状态与动作向量，对应的观测视频则存储于videos目录下以episode编号命名的AV1文件中。配套的元数据（info.yaml、episodes.jsonl）与5类注释文件可直接用于监督学习或奖励函数设计。建议利用框架内建的视频编解码与状态归一化工具，以高效构建模仿学习或行为克隆管线，并参照引用规范标注RoboCOIN与LeRobot相关论文。

背景与挑战

背景概述

在机器人操作领域，双臂协同作业是实现复杂任务的关键技术，尤其在服务与餐饮场景中，机器人需具备灵巧操作日常物品的能力。该数据集由北京人工智能研究院（BAAI）RoboCOIN团队于2025年创建，旨在推动双臂机器人精细操作的研究。核心研究问题聚焦于如何通过遥操作数据驱动方式，使机器人学会协调双手完成如开关微波炉门这类需精准力控与时序配合的任务。该数据集作为RoboCOIN项目的重要组成部分，为双臂操作学习提供了标准化基准，对提升机器人在非结构化环境中的泛化能力具有显著影响力。

当前挑战

该数据集所解决的领域挑战在于双臂操作任务的高度复杂性，例如按下微波炉按钮与关门动作需实时协调双臂运动轨迹与力度控制，避免碰撞或操作失败，这对模仿学习算法提出了高精度时序对齐要求。构建过程中面临的挑战包括：需在真实餐厅环境中通过VR遥操作采集392段高质量演示数据，确保双手动作的时空同步性；同时整合四台RGB相机从多视角捕获视觉信息，以应对复杂光照和遮挡下的视觉鲁棒性问题。此外，34维度状态与动作空间的高维性增加了数据处理的难度，需精确标注如末端执行器速度、加速度等细粒度特征以支持下游模型训练。

常用场景

经典使用场景

在机器人学习与操作领域，AI2_Alphabot_2_open_microwave数据集为双臂协调操控任务提供了宝贵的真实世界演示数据。该数据集聚焦于餐饮场景下，机器人通过一台Alphabot 2双臂平台完成微波炉门的开启与关闭动作，具体任务要求一只手按压按钮，另一只手同步推拉门体。数据集包含392个高质量演示片段，总帧数超过33万，并以30 FPS的帧率记录，涵盖4个RGB摄像头视角（胸前、头部及左右手腕），为模仿学习、行为克隆以及强化学习等经典范式提供了丰富的多模态观测与动作序列。研究者可利用该数据集训练机器人掌握灵活的双臂协同技能，尤其是在需要精细力控与空间协调的家居服务场景中。

解决学术问题

该数据集旨在解决机器人操作研究中长期存在的核心难题：如何实现非结构化环境下的双臂协同与细粒度操控。传统的单臂数据集难以刻画真实世界中需要双手配合的复杂任务（如开微波炉门），而此类任务对关节空间规划、末端执行器轨迹同步以及接触力感知提出了极高要求。AI2_Alphabot_2_open_microwave通过提供包含34维状态与动作信息的标准化数据，填补了双臂精细操作领域的数据空白。其意义在于，为学界构建了一个可复现的基准平台，使得双臂协调策略的泛化性、鲁棒性及样本效率得以系统评估，进而推动机器人技能从实验室简化场景向真实服务场景的迁移。

衍生相关工作

围绕该数据集，研究者已衍生出多项具有代表性的工作。数据集源自RoboCOIN项目，其配套论文系统性地介绍了双臂数据采集的标准化流程与规范化标注体系。基于这些数据，学者们开发了适用于双臂任务的模仿学习算法，例如融合多视角视觉特征与关节状态的行为克隆模型，以及利用稀疏奖励信号进行策略优化的强化学习方法。此外，数据集中的夹爪活动、末端执行器方向与速度标注信息，催生了面向细粒度操作的分层架构研究，即先由高层网络规划接触模式，再由低层控制器生成平滑轨迹。这些工作共同深化了对双臂协同操作本质规律的理解。