record_0519_v1

该数据集由LeRobot项目创建，是一个用于机器人任务的数据集，包含22个episodes，总计34468帧数据，对应1个机器人任务。数据以Parquet文件格式存储，总大小约100 MB，同时包含总大小约200 MB的MP4格式视频文件，视频帧率为30 fps。数据集仅提供训练集。核心特征包括：动作（action）是一个17维的浮点数组，表示左右机械臂的关节位置（如肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转、夹爪位置）以及机器人的线速度和角速度；观测状态（observation.state）是与动作维度相同的17维状态数组；观测图像（observation.images）提供了三个视角的RGB视频流：顶部摄像头（top）、右腕摄像头（right_wrist）和左腕摄像头（left_wrist），分辨率均为640x480。此外，数据集还包含时间戳（timestamp）、帧索引（frame_index）、episode索引（episode_index）、全局索引（index）和任务索引（task_index）等元数据字段。适用于机器人模仿学习、行为克隆、视觉运动控制等研究任务，采用Apache 2.0许可证。

This dataset is created by the LeRobot project and is designed for robotic tasks. It contains 22 episodes, totaling 34468 frames of data, corresponding to 1 robotic task. The data is stored in Parquet file format with a total size of approximately 100 MB, along with MP4 format video files totaling about 200 MB, with a video frame rate of 30 fps. The dataset only provides a training set. Key features include: action, which is a 17-dimensional floating-point array representing the joint positions of the left and right robotic arms (such as shoulder translation, shoulder lift, elbow bend, wrist bend, wrist rotation, gripper position) as well as the robots linear and angular velocities; observation.state, which is a 17-dimensional state array with the same dimensions as action; observation.images, which provides RGB video streams from three perspectives: top camera (top), right wrist camera (right_wrist), and left wrist camera (left_wrist), all with a resolution of 640x480. Additionally, the dataset includes metadata fields such as timestamp, frame_index, episode_index, index, and task_index. It is suitable for research tasks like robotic imitation learning, behavior cloning, and visual-motor control, and is licensed under Apache 2.0.

原始信息汇总

数据集概述

数据集名称：record_0519_v1
许可证：Apache-2.0
任务类别：机器人学 (Robotics)
标签：LeRobot
创建工具：基于 LeRobot 框架生成。

---

数据集规模与统计

指标	数值
总片段数 (Episodes)	22
总帧数 (Frames)	34,468
总任务数 (Tasks)	1
数据块大小 (Chunks Size)	1000
数据文件大小 (Data Files)	100 MB
视频文件大小 (Video Files)	200 MB
帧率 (FPS)	30
训练集划分	train: 0:22 (所有片段用于训练)
机器人类型	xlerobot
代码库版本	v3.0

---

数据存储结构

• 数据文件路径：data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径：videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

---

数据特征说明

数据集包含以下特征字段：

1. 动作数据（action）

• 数据类型：float32
• 维度：17
• 包含的关节/运动：
  • 左臂：肩部旋转、肩部升降、肘部弯曲、腕部弯曲、腕部滚动、夹爪
  • 右臂：肩部旋转、肩部升降、肘部弯曲、腕部弯曲、腕部滚动、夹爪
  • 头部电机1、头部电机2
  • 底盘：x方向速度、y方向速度、theta方向角速度

2. 观测状态（observation.state）

• 数据类型：float32
• 维度：17
• 内容：与 action 字段命名完全一致，表示当前机器人各关节/底盘状态。

3. 观测图像（observation.images）

包含三路视频流，均为彩色图像，视频编码为 av1，像素格式 yuv420p，无音频：

图像名称	分辨率	通道数	帧率
top	480×640	3	30
right_wrist	480×640	3	30
left_wrist	480×640	3	30

4. 其他元数据

• timestamp (float32, shape [1])：时间戳
• frame_index (int64, shape [1])：帧索引
• episode_index (int64, shape [1])：片段索引
• index (int64, shape [1])：全局索引
• task_index (int64, shape [1])：任务索引

---

引用信息

官方引用格式尚未提供（BibTeX 待补充）。

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量的演示数据集对于训练具身智能模型至关重要。record_0519_v1数据集依托LeRobot框架构建，通过远程操作xlerobot机器人平台，采集了22个完整操作轨迹，包含34,468帧时序数据。每个轨迹以每秒30帧的速率记录，数据以Parquet格式存储于分块文件中，视频则以AV1编码的MP4格式保存。数据集结构经过精心设计，包含动作序列、观测状态及多视角视觉信息，并按照训练集单一划分进行组织。

特点

该数据集呈现出鲜明的多模态特性，融合了17维动作指令与观测状态空间，涵盖双臂关节位置、头部电机角度及移动底盘速度等控制量。视觉模块尤为丰富，提供顶视、左腕和右腕三个视角的高清彩色视频流，分辨率均为640×480像素。此外，数据记录了精确的时间戳与帧索引信息，确保时序对齐的准确性。这种异构数据组合为模仿学习等算法提供了完整的状态-动作对，支持机器人复杂操作技能的迁移。

使用方法

利用record_0519_v1数据集时，推荐通过LeRobot库直接加载Parquet和视频文件。用户可调用该库提供的数据加载器，按轨迹索引逐帧获取动作、状态与图像数据，便于构建训练批次。由于数据已按总帧数1000块进行分块，开发者可基于元信息中的chunks_size参数实现高效流式读取。数据集兼容PyTorch等深度学习框架，适用于训练行为克隆、逆强化学习等机器人控制模型，复现端到端的自主操作策略。

背景与挑战

背景概述

随着机器人学习领域对高保真、多模态数据需求的日益增长，构建具备精细控制能力的数据集成为推动灵巧操作研究的关键。record_0519_v1数据集由Panda512团队于近期创建，基于LeRobot框架生成，旨在为双臂仿人机器人提供标准化的训练资源。该数据集聚焦于xlerobot平台的协同操作任务，通过22个示范回合采集了超过3.4万帧数据，涵盖17维的动作空间与状态空间，包括双臂多关节位置、头部电机及移动底盘速度等参数。其设计兼顾了多视角视觉输入，从上、左腕、右腕三个角度以30帧/秒的速率记录高清视频，为模仿学习与策略迁移研究奠定了结构化数据基础。

当前挑战

该数据集所解决的领域核心挑战在于，灵巧机器人操作任务通常面临高维连续动作空间与复杂观测模态的耦合问题，传统单一视角数据难以支撑从示范中泛化出鲁棒的控制策略。record_0519_v1通过标准化多关节轨迹与多目视觉对齐，为降低任务复杂度提供了规范样本。然而，构建过程中亦存在显著挑战：首先，数据采集依赖精确的遥操作与传感器同步，22个示范轮次仅覆盖单一任务，样本规模有限，可能限制策略对未见过场景的适应能力；其次，视觉数据采用高码率AV1编码压缩，虽节约存储但可能导致解算时的信息损失，对实时控制精度构成潜在影响；最后，目前缺乏官方论文与基准评测，阻碍了该数据集在可比较框架下的有效性验证与泛化能力分析。

常用场景

经典使用场景

在机器人学习领域，record_0519_v1数据集凭借其精细刻画的遥操作与自主作业场景，成为模仿学习与行为克隆研究的基石。该数据集录入了xlerobot双臂移动操作平台在22个回合中、超过3.4万帧的高频交互数据，涵盖17维连续动作空间，包含左右臂关节位置、夹爪姿态、头部自由度及底盘运动速度。视觉模态方面，自上而下与双腕视角的640×480视频流以30帧/秒捕捉操作环境，为多视角下的动作-视觉映射提供了丰沛的监督信号，尤其在低样本条件下学习稳健的双臂协同策略中展现出独特价值。

衍生相关工作

基于record_0519_v1的数据结构与格式，衍生出多项具有影响力的研究工作。该数据集是LeRobot生态的典型代表，后续许多关于跨具身形态的模仿学习算法，如基于Transformer的动作分块（Action Chunking）、扩散策略（Diffusion Policy）的变体，均以其为基准进行性能评估。部分学者围绕该数据集开发的视觉运动控制模型，进一步推动了从数据采集、数据增强到策略蒸馏的全流程自动化工具链发展，如利用后验经验回放（PER）优化数据效率的工作。围绕xlerobot平台，还衍生出了关于双臂协调控制中的动态避障与力位混合控制的对比研究，拓宽了人机协作的边界。

数据集最近研究

最新研究方向

该数据集聚焦于双臂灵巧操作与全向移动协作的具身智能前沿方向，基于Xlerobot平台采集包含17维动作空间（双七自由度机械臂、头部电机及移动底盘速度）的高频同步数据。其单任务22个演示片段（34468帧、30FPS）结合三视角640×480视频流（顶部、左右腕部），为模仿学习中的多模态融合与状态-动作映射提供了精细化基准。在机器人基础模型（RBM）与基于扩散策略的操作技能泛化研究热潮下，该数据集的紧凑架构（AV1编码、Parquet存储）支持高效训练闭环，尤其适合探索对称双臂任务中的联合控制策略与视觉-运动协同机制，对推动服务机器人复杂操作场景的少样本学习突破具有重要价值。