level2_rac1_4

该数据集由LeRobot创建，包含机器人相关的数据，具体涉及一个名为'openarms_follower'的机器人。数据集包含15个episodes，85359帧，1个任务。数据以parquet文件格式存储，总大小为100MB，视频文件总大小为200MB，帧率为30fps。数据集记录了机器人的关节位置（包括左右各7个关节和左右夹爪的位置）、状态观测以及来自左腕、右腕和基座摄像头的视频观测。所有数据均以30fps的帧率采集，视频分辨率为720x1280（腕部摄像头）和480x640（基座摄像头）。

This dataset was created by LeRobot and focuses on robotics-related data for a robot named 'openarms_follower'. It consists of 15 episodes, 85,359 frames, and a single task. The data is stored in Parquet file format, with a total size of 100 MB, while the total size of the video files is 200 MB, with an acquisition frame rate of 30 fps. The dataset records the robot's joint positions (7 joints on each of the left and right sides, plus the positions of the left and right grippers), state observations, as well as video observations from the left wrist, right wrist, and base camera. All data was collected at 30 fps, and the video resolutions are 720×1280 for the wrist cameras and 480×640 for the base camera.

原始信息汇总

数据集概述

基本信息

• 数据集名称: level2_rac1_4
• 创建工具: LeRobot
• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot

数据集规模

• 总情节数: 15
• 总帧数: 85359
• 总任务数: 1
• 数据块大小: 1000
• 数据文件总大小: 100 MB
• 视频文件总大小: 200 MB
• 帧率: 30 FPS
• 数据分割: 训练集 (0:15)

数据结构

• 数据文件路径模式: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径模式: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

数据特征

动作

• 数据类型: float32
• 维度: [16]
• 特征名称:
  • right_joint_1.pos
  • right_joint_2.pos
  • right_joint_3.pos
  • right_joint_4.pos
  • right_joint_5.pos
  • right_joint_6.pos
  • right_joint_7.pos
  • right_gripper.pos
  • left_joint_1.pos
  • left_joint_2.pos
  • left_joint_3.pos
  • left_joint_4.pos
  • left_joint_5.pos
  • left_joint_6.pos
  • left_joint_7.pos
  • left_gripper.pos

观测状态

• 数据类型: float32
• 维度: [16]
• 特征名称: 与动作特征列表相同

图像观测

左腕摄像头图像

• 数据类型: 视频
• 图像尺寸: [720, 1280, 3]
• 视频信息:
  • 高度: 720
  • 宽度: 1280
  • 编解码器: av1
  • 像素格式: yuv420p
  • 是否为深度图: 否
  • 帧率: 30
  • 通道数: 3
  • 包含音频: 否

右腕摄像头图像

• 数据类型: 视频
• 图像尺寸: [720, 1280, 3]
• 视频信息: 与左腕摄像头图像信息相同

基座摄像头图像

• 数据类型: 视频
• 图像尺寸: [480, 640, 3]
• 视频信息:
  • 高度: 480
  • 宽度: 640
  • 编解码器: av1
  • 像素格式: yuv420p
  • 是否为深度图: 否
  • 帧率: 30
  • 通道数: 3
  • 包含音频: 否

元数据

• 时间戳: 数据类型 float32，维度 [1]
• 帧索引: 数据类型 int64，维度 [1]
• 情节索引: 数据类型 int64，维度 [1]
• 索引: 数据类型 int64，维度 [1]
• 任务索引: 数据类型 int64，维度 [1]

其他信息

• 代码库版本: v3.0
• 机器人类型: openarms_follower
• 主页: 信息缺失
• 论文: 信息缺失
• 引用: 信息缺失

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量的数据集是推动策略学习与泛化能力提升的关键基石。level2_rac1_4数据集基于LeRobot框架构建，旨在为双臂机器人操作提供标准化的训练与评估资源。该数据集采集自OpenArms Follower机器人平台，共包含15个完整操作回合（episodes），累计85,359帧图像与状态信息，数据以30帧/秒的采样频率记录。数据存储采用分块式Parquet格式，每块容纳1,000帧，同时辅以AV1编码的高清视频文件，分别记录左腕、右腕及基座三个视角的视觉信息。所有数据被划分为单一训练集，覆盖单一任务类型，确保了数据的一致性与专注性。

特点

该数据集的核心特点在于其多模态、高保真的数据构成。动作与观测状态均以16维浮点向量表示，精确映射双臂各关节位置与夹爪状态，为精细操作建模提供了完整的状态-动作空间。视觉观测包含三路独立视频流：左腕与右腕视角分辨率高达720×1280像素，基座视角为480×640像素，三者均以30帧/秒的AV1格式编码，在保证画质的同时兼顾了存储效率。此外，数据集记录了精确的时间戳、帧索引及回合索引，便于进行时序分析、序列建模或离线强化学习中的轨迹回放。整体数据规模经压缩后约300兆字节，兼具信息丰富度与实用性。

使用方法

使用level2_rac1_4数据集时，推荐通过LeRobot库进行加载与预处理。用户可直接利用HuggingFace Datasets接口读取Parquet文件，获取包含action、observation.state及多视角observation.images字段的标准化数据批次。对于视觉输入，需将AV1视频帧解码为张量，并与状态向量对齐，构建适用于模仿学习或行为克隆的观测-动作对。训练过程中，可依据episode_index和frame_index组织回合级数据，利用chunks_size参数控制内存加载粒度。该数据集默认不包含验证集，用户可自行划分部分回合用于模型评估，以验证策略在未见过的操作序列上的泛化性能。

背景与挑战

背景概述

在机器人学习领域，模仿学习依赖于高质量、多模态的示范数据集来训练策略模型。level2_rac1_4数据集由LeRobot框架创建，旨在为双臂协作机器人操作提供标准化训练资源。该数据集包含15个完整演示片段，总计超过8.5万帧，记录了在30帧每秒下16维关节动作指令与多视角视觉观测（包括左右腕部与基座摄像头），覆盖单一操作任务。其发布推动了从仿真环境向真实机器人数据迁移的研究进程，尤其为双臂协同控制与视觉-动作联合建模提供了可复现的基准。数据集采用Apache-2.0许可协议，降低了学术与工业界的使用门槛，促进了开放机器人学习社区的协作发展。

当前挑战

该数据集面临的核心挑战包括：首先，领域问题层面，双臂机器人操作任务存在高维动作空间与复杂接触动力学，单一任务的数据量（15个片段）难以覆盖状态分布的多样性，导致策略泛化能力受限。其次，构建过程中，多摄像头同步采集与关节角度标定需精密硬件配合，数据采集效率较低；视频编码采用AV1格式虽压缩率高，但解码计算开销大，可能影响训练流水线的吞吐量。此外，数据未划分验证集（全部15个片段用于训练），增加了过拟合风险；特征空间中动作与状态共享相同命名维度，可能引入冗余信息，需设计专用解耦策略以提升学习效率。

常用场景

经典使用场景

level2_rac1_4数据集专为双臂机器人操作任务设计，其核心应用场景是模仿学习与行为克隆。该数据集记录了15个完整操作回合，包含85359帧高保真数据，同步采集了16维关节空间动作与状态信息，以及左右腕部和基座三个视角的高清视频流。研究者可借助这些多模态数据训练机器人从人类演示中学习复杂操作技能，如双臂协同抓取与精密装配，实现从感知到动作的端到端映射。数据以30帧每秒的稳定频率采集，并采用分块存储格式，便于大规模并行训练与模型泛化能力评估。

实际应用

在实际工业与家庭服务场景中，该数据集可支撑双臂协作机器人的技能迁移部署。例如，基于该数据训练的模型可使机器人完成精密零件装配、柔性物料操作等需要双机械臂协调的任务。在医疗领域，它可作为手术辅助机器人学习器械传递与组织牵引等动作的基准数据。数据集提供的多视角视频流还能被用于构建增强现实遥操作系统，使操作员通过视觉反馈精准控制机械臂，降低远程手术或危险环境作业的认知负荷。

衍生相关工作

该数据集催生了若干开创性研究工作，包括基于扩散策略的双臂操作动作生成模型，其利用数据中的多模态观测条件实现高精度轨迹预测。另一经典工作是层次化模仿学习框架，通过将数据集中的长回合拆解为子技能序列，实现了复杂任务的零样本组合。此外，跨具身迁移学习研究借助该数据集验证了从开源机械臂到商业机器人平台的策略泛化能力，为机器人基础模型的发展提供了关键数据支撑。这些工作共同推动了数据驱动的机器人学习从实验室环境向真实世界应用的跨越。