automate_real_world3

该数据集是一个机器人操作数据集，专注于插头插座任务，使用LeRobot工具创建。它包含15个完整的情节，总计2506帧数据，帧率为30 fps，所有数据用于训练集。数据集提供了丰富的多模态特征，包括机器人的动作（如三维位置和旋转变化）、观察数据（如末端执行器内部力、姿态矩阵、对齐的插座深度图像、初始插头深度图像、点云数据等），以及来自多个摄像头的图像和深度信息（如手腕摄像头和辅助摄像头的RGB和深度图像）。这些数据适用于机器人学习研究，特别是涉及视觉感知、力控制和任务执行的应用。数据集以Parquet格式存储，并包含详细的元数据描述特征的结构和类型。

This dataset is a robotic manipulation dataset focused on plug-and-socket tasks, created using the LeRobot tool. It contains 15 complete episodes, totaling 2506 frames of data at a frame rate of 30 fps, with all data designated for the training set. The dataset provides rich multimodal features, including robot actions (such as 3D position and rotation changes), observation data (such as end-effector internal forces, pose matrices, aligned socket depth images, initial plug depth images, point cloud data, etc.), as well as image and depth information from multiple cameras (e.g., RGB and depth images from wrist and auxiliary cameras). This data is suitable for robotics learning research, particularly applications involving visual perception, force control, and task execution. The dataset is stored in Parquet format and includes detailed metadata describing the structure and types of features.

原始信息汇总

数据集概要

数据集名称：automate_real_world3
许可证：Apache-2.0
任务类别：机器人学（Robotics）
标签：LeRobot
创建工具：LeRobot

数据集规模

• 总片段数（episodes）：15
• 总帧数（frames）：2506
• 总任务数：1
• 总视频数：60
• 总数据块数：1
• 数据块大小：1000
• 帧率：30 FPS
• 数据集划分：训练集（train）涵盖第0至第14片段（共15个）

数据结构

数据集以Parquet格式存储，数据路径为 data/*/*.parquet，视频存储于 videos/ 目录下。主要特征包括：

动作（Action）

• 数据类型：float32，形状 (9,)
• 命名维度：delta_x, delta_y, delta_z, delta_rot6d_0 至 delta_rot6d_5

观测（Observation）

• 末端执行器内部力（observation.eef_internal_forces）：float32，形状 (3,)，含 fx, fy, fz（腕部相机坐标系下的线性力）
• 末端执行器位姿（observation.eef_pose）：float32，4x4矩阵
• 对齐的插座深度图像（observation.aligned_socket_depth_img）：float32，480x640
• 初始插头深度图像（observation.init_plug_depth_img）：float32，480x640
• 初始世界点云（observation.points.initial_wrist_points_world）：点云格式，动态点数量，每点3个坐标
• 腕部相机外参（observation.cam_wrist.extrinsics）：float32，4x4矩阵，T_world_cam
• 腕部深度图像（observation.images.cam_wrist.depth）：float32，720x1280，单位米
• 腕部RGB图像（observation.images.cam_wrist）：视频格式，720x1280x3
• Azure Kinect前彩色图像（observation.images.cam_azure_kinect_front.color）：视频格式，720x1280x3
• 辅助ZED左RGB图像（observation.images.cam_auxiliary.left）：视频格式，720x1280x3（脚本化设置期间单次捕获）
• 辅助深度图像（observation.images.cam_auxiliary.depth）：视频格式，720x1280x1，单位uint16毫米

元数据（Metadata）

• 时间戳（timestamp）：float32，形状 (1,)
• 帧索引（frame_index）：int64
• 片段索引（episode_index）：int64
• 全局索引（index）：int64
• 任务索引（task_index）：int64

其他信息

• 机器人类型：脚本驱动（script）
• 数据格式：基于LeRobot v2.1规范
• 引用：暂无提供引用信息