Ishan-Axibo/piperx_towel_rollouts_legacy

该数据集由LeRobot创建，专为机器人任务设计，包含5个完整的情节（episodes），总计14904帧数据，帧率为30fps。数据集采用parquet格式存储，并包含视频文件。数据特征包括：观察状态（14维浮点数组，表示左右机械臂的关节位置和夹爪状态）、动作（14维浮点数组，对应关节控制命令）、成功标志（布尔值，表示任务是否成功）、三个摄像头视频（前视摄像头、左腕摄像头和右腕摄像头，分辨率均为480x640，3通道，AV1编码）、时间戳（浮点数）、帧索引、情节索引等。数据集仅包含训练集，适用于机器人学习和控制研究。--- 许可证：Apache-2.0 任务类别： - 机器人学 标签： - LeRobot 配置项： - 配置名称：default 数据文件：data/*/*.parquet --- 本数据集基于[LeRobot](https://github.com/huggingface/lerobot)构建。 ## 数据集描述 - **主页**：[需补充更多信息] - **论文**：[需补充更多信息] - **许可证**：Apache-2.0 ## 数据集结构 [meta/info.json](meta/info.json): json { "codebase_version": "v2.1", "robot_type": "piperx_bimanual", "total_episodes": 5, "total_frames": 14904, "total_tasks": 1, "total_videos": 15, "total_chunks": 1, "chunks_size": 1000, "fps": 30, "splits": { "train": "0:5" }, "data_path": "data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet", "video_path": "videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4", "features": { "观测状态（observation.state）": { "数据类型（dtype）": "32位浮点型（float32）", "形状（shape）": [14], "名称（names）": [["左关节1", "左关节2", "左关节3", "左关节4", "左关节5", "左关节6", "左夹爪", "右关节1", "右关节2", "右关节3", "右关节4", "右关节5", "右关节6", "右夹爪"]] }, "动作（action）": { "数据类型（dtype）": "32位浮点型（float32）", "形状（shape）": [14], "名称（names）": [["左关节1", "左关节2", "左关节3", "左关节4", "左关节5", "左关节6", "左夹爪", "右关节1", "右关节2", "右关节3", "右关节4", "右关节5", "右关节6", "右夹爪"]] }, "任务成功标识（is_success）": { "数据类型（dtype）": "布尔型（bool）", "形状（shape）": [1], "名称（names）": ["is_success"] }, "前视相机图像观测（observation.images.cam_front）": { "数据类型（dtype）": "video", "形状（shape）": [480, 640, 3], "名称（names）": ["高度", "宽度", "通道数"], "信息（info）": { "视频高度（video.height）": 480, "视频宽度（video.width）": 640, "视频编码格式（video.codec）": "av1", "视频像素格式（video.pix_fmt）": "yuv420p", "是否为深度图（video.is_depth_map）": false, "视频帧率（video.fps）": 30, "视频通道数（video.channels）": 3, "是否包含音频（has_audio）": false } }, "左腕相机图像观测（observation.images.cam_left_wrist）": { "数据类型（dtype）": "video", "形状（shape）": [480, 640, 3], "名称（names）": ["高度", "宽度", "通道数"], "信息（info）": { "视频高度（video.height）": 480, "视频宽度（video.width）": 640, "视频编码格式（video.codec）": "av1", "视频像素格式（video.pix_fmt）": "yuv420p", "是否为深度图（video.is_depth_map）": false, "视频帧率（video.fps）": 30, "视频通道数（video.channels）": 3, "是否包含音频（has_audio）": false } }, "右腕相机图像观测（observation.images.cam_right_wrist）": { "数据类型（dtype）": "video", "形状（shape）": [480, 640, 3], "名称（names）": ["高度", "宽度", "通道数"], "信息（info）": { "视频高度（video.height）": 480, "视频宽度（video.width）": 640, "视频编码格式（video.codec）": "av1", "视频像素格式（video.pix_fmt）": "yuv420p", "是否为深度图（video.is_depth_map）": false, "视频帧率（video.fps）": 30, "视频通道数（video.channels）": 3, "是否包含音频（has_audio）": false } }, "时间戳（timestamp）": { "数据类型（dtype）": "32位浮点型（float32）", "形状（shape）": [1], "名称（names）": null }, "帧索引（frame_index）": { "数据类型（dtype）": "64位整型（int64）", "形状（shape）": [1], "名称（names）": null }, "回合索引（episode_index）": { "数据类型（dtype）": "64位整型（int64）", "形状（shape）": [1], "名称（names）": null }, "索引（index）": { "数据类型（dtype）": "64位整型（int64）", "形状（shape）": [1], "名称（names）": null }, "任务索引（task_index）": { "数据类型（dtype）": "64位整型（int64）", "形状（shape）": [1], "名称（names）": null } } } ## 引用 **BibTeX格式**： bibtex [需补充更多信息]

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量的数据集是驱动模仿学习与强化学习算法发展的关键基石。piperx_towel_rollouts_legacy数据集基于LeRobot框架构建，专注于双手机器人操作任务。该数据集通过5个完整交互片段（episodes）进行采集，总计包含14904帧时序数据，采样频率为30帧/秒。数据以Parquet格式存储于按chunk-{episode_chunk}与episode_{episode_index}命名的分层路径下，对应的视频数据则存放于独立的MP4文件中。构建过程中，数据集被划分为训练集（全部5个episode），未设置测试或验证集，体现了在有限数据规模下的朴素应用设计。

特点

该数据集最显著的特点在于其针对PiperX双机械臂平台的精细数据定义。观测空间（observation.state）与动作空间（action）均为14维浮点向量，分别精准对应左右机械臂的6个关节位置及一个夹爪状态，实现了状态与动作的同构映射。视觉模态方面，数据集提供了三个视角的高清视频流（cam_front、cam_left_wrist、cam_right_wrist），分辨率均为640×480像素，采用AV1编码，为跨视角特征融合提供了丰富素材。此外，每个时间步均包含is_success布尔标志与精准的时间戳信息，便于评估任务完成度与时间序列对齐。

使用方法

使用该数据集时，研究者可借助LeRobot库的专用数据加载接口，高效读取Parquet文件中的状态、动作及元数据，同步解码三个视角的视频帧。数据以30帧/秒的恒定速率同步，适合训练端到端的行为克隆或基于视觉的运动策略模型。由于动作与状态维度均为14，可直接用于监督学习中的回归任务。在模型评估中，可利用is_success字段对算法在摊毛巾任务上的成功率进行量化分析，同时结合视频帧构建仿真环境中的观测输入。整个数据集结构简洁，无需额外预处理即可快速接入主流的机器人学习框架。

背景与挑战

背景概述

在机器人学习领域，模仿学习与示教数据集的构建是推动机器人技能获取能力发展的核心基石。piperx_towel_rollouts_legacy 数据集由基于 LeRobot 框架的团队于近期创建，专注于解决双机械臂操作任务中的毛巾展开（towel rollout）问题。该数据集收录了 5 个演示片段，合计 14904 帧，以 30 FPS 的帧率记录了来自前视及左右腕部相机的多视角视觉信息，同时包含了 14 维的关节状态与动作指令。数据集的发布旨在为双机械臂柔性物体操控研究提供基准，对推动机器人面向非刚性材料的精细操作能力具有重要意义。

当前挑战

当前数据集中所面临的挑战主要体现在两大方面。首先，在领域问题层面，柔性物体的状态高度非结构化且变形复杂，传统的刚体运动学建模难以直接适用，这给基于数据的策略学习带来了显著困难，动作空间的高维性进一步加剧了模仿学习的难度。其次，在数据集构建过程中，双机械臂协同采集条件下多传感器数据（多路视觉与关节状态）的同步与规范化标定，以及少量演示片段下如何保证动作多样性和对失败模式的有效覆盖，均是提升数据集实用性的关键难点。

常用场景

经典使用场景

在机器人学习领域，piperx_towel_rollouts_legacy数据集为模仿学习和示教学习提供了经典平台。该数据集聚焦于双机械臂协作完成毛巾卷曲这一精细操作任务，通过采集14维关节状态、3视角高清视频（前置、左右手腕）及执行动作序列，构建了完整的示教数据流。研究者常利用该数据集训练行为克隆或逆强化学习模型，使机器人从有限演示中习得柔性物体操作策略，尤其适用于研究双臂协同与灵巧操作的非结构化场景。

衍生相关工作

该数据集衍生了多项经典研究。基于其精细的关节轨迹和视觉数据，研究者开发出高效的双臂协调运动规划算法（如基于扩散策略的模仿学习框架），并推动了视触觉融合模型在柔性物操作中的应用。此外，该数据集常被用于验证自监督预训练方法的有效性，如通过时间对比学习提取操作技能的表征，以及作为基准测试多任务学习框架在相似操作场景下的迁移能力。

数据集最近研究

最新研究方向

在机器人操作领域，精细操控技能的学习与迁移始终是研究热点。piperx_towel_rollouts_legacy数据集基于PiperX双臂机器人平台，采集了5个回合、总计14904帧的毛巾展开操作示范数据，涵盖了双臂14个关节的完整状态与动作序列，并同步记录了前向及左右腕部三视角高清视频。这一精心构建的示范库为模仿学习与行为克隆算法提供了高保真的训练支撑，尤其在双臂协同、柔性物体操作等挑战性任务中展现出潜力。伴随具身智能的浪潮，该数据集有望推动双臂机器人从预设程序向数据驱动范式演进，加速家庭服务与工业柔性装配等场景下的自主决策能力提升。