CoRL2026-CSI/SO101_teleop_close_drawer_100epi_wristfix_50epi_8to2

--- license: apache-2.0 task_categories: - robotics tags: - LeRobot configs: - config_name: default data_files: data/*/*.parquet --- This dataset was created using [LeRobot](https://github.com/huggingface/lerobot). <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=CoRL2026-CSI/SO101_teleop_close_drawer_100epi_wristfix_50epi_8to2"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## Dataset Description - **Homepage:** [More Information Needed] - **Paper:** [More Information Needed] - **License:** apache-2.0 ## Dataset Structure [meta/info.json](meta/info.json): ```json { "codebase_version": "v3.0", "robot_type": "so_follower", "total_episodes": 50, "total_frames": 7867, "total_tasks": 1, "chunks_size": 1000, "data_files_size_in_mb": 100, "video_files_size_in_mb": 200, "fps": 30, "splits": { "train": "0:50" }, "data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "features": { "action": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.state": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.images.left_wrist": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "h264", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "observation.images.topview": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "h264", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "timestamp": { "dtype": "float32", "shape": [ 1 ], "names": null }, "frame_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "episode_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "task_index": { "dtype": "int64", "shape": [ 1 ], "names": null } } } ``` ## Citation **BibTeX:** ```bibtex [More Information Needed] ```This dataset is a robotics dataset created using LeRobot, designed for robot control tasks. It contains 50 episodes with a total of 7867 frames at 30 fps, involving one task (likely closing a drawer). The data is stored in parquet format, with a total data file size of 100 MB and video file size of 200 MB. Features include actions (6 float values representing shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper positions), observation states (same 6 float values as actions), image observations (two videos from left wrist and topview, both with 480x640 resolution, 3 channels, encoded as h264, without audio), and metadata such as timestamp, frame index, episode index, etc. The dataset is intended for training and evaluating robot models, supporting learning control policies from visual and state information.

搜集汇总

数据集介绍

构建方式

在机器人示教学习与模仿学习领域，高质量的操作数据集是训练策略网络的基础。该数据集依托LeRobot框架构建，通过SO101机械臂的遥操作（teleoperation）方式采集，聚焦于“关闭抽屉”这一日常操作任务。数据采集过程中，操作者借助遥操作系统引导机械臂完成关闭抽屉的动作，腕部摄像头（left_wrist）的安装方式被固定（wristfix），以消除视觉视角抖动带来的干扰。原始数据包含100个回合（100epi），经筛选后保留50个回合（50epi），并按照8:2的比例划分为训练集与验证集。所有轨迹以30帧/秒的频率记录，最终形成包含50个回合、7867帧、单一任务标签的数据集，存储为parquet格式并附有对应的视频文件，便于后续模型训练与评估。

特点

该数据集立足于机器人操作学习领域，具备若干显著特征。其任务空间单一而明确，仅包含“关闭抽屉”这一操作，有利于针对性地评估策略在特定任务上的表现。数据模态丰富，同步记录了动作（action）、机器人状态（observation.state）以及两个视角的视觉观测——腕部摄像头（left_wrist）和俯视摄像头（topview），均为480×640分辨率、30帧/秒的H.264编码视频，能够为视觉-动作联合建模提供多源信息。值得注意的是，数据集名称中标注的“wristfix”暗示腕部摄像机在采集过程中被固定，从而减少了视觉噪声，提升了数据的一致性。动作与状态维度均为6，涵盖肩部旋转、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转及夹爪位置，覆盖了SO101 follower机械臂的完整关节控制空间。数据集规模适中，50个回合、7867帧的总量在保证训练可行性的同时，也为算法验证提供了充分样本。

使用方法

在机器人模仿学习与策略学习的研究中，该数据集可通过LeRobot工具链便捷加载与使用。用户可依据meta/info.json中定义的路径规则，从data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet读取轨迹数据，并从videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4获取对应的视觉观测视频。数据集已预设训练集划分（splits: train 0:50），可直接用于模型训练。HuggingFace平台提供了可视化工具，通过访问对应的Space页面，用户能够直观地回放轨迹、检查动作与观测的对应关系。使用过程中，建议先解析info.json以确认机器人类型（so_follower）、帧率（30fps）及各特征的维度与数据类型，再根据具体任务需求设计数据加载与预处理流程。此外，该数据集遵循Apache-2.0许可，允许在遵守许可条款的前提下进行学术与商业应用。

背景与挑战

背景概述

机器人操作技能的习得长期受制于高质量示教数据的稀缺，SO101_teleop_close_drawer_100epi_wristfix_50epi_8to2数据集正是在这一背景下，依托LeRobot框架构建的面向SO-101低成本机械臂的遥操作演示数据集。该数据集聚焦于“关闭抽屉”这一典型接触密集型操作任务，记录了50个回合、共计7867帧、30Hz同步采集的多视角视频与关节状态轨迹，研究人员通过对腕部视角进行固定处理并采用8:2的训练-验证划分，系统考察了演示数据规模与视角配置对策略学习的影响。其核心价值在于为视觉-运动策略在真实物理交互场景中的泛化性研究提供了可复现的轻量级基准，对推动低成本机器人平台的模仿学习与数据高效学习具有参考意义。

当前挑战

在任务层面，关闭抽屉要求机械臂在存在接触力、铰链摩擦与物体位姿不确定性的条件下完成连续的推压动作，对策略的闭环反馈精度与鲁棒性构成显著考验，其难点在于视觉观测难以充分捕捉接触状态与力觉信息。在构建层面，数据集致力于解决遥操作演示中操作者手部抖动引入的动作噪声、腕部相机固定后可能造成的视觉盲区，以及50回合数据规模下任务多样性不足与过拟合风险之间的张力；与此同时，多视角视频与关节轨迹的时间同步、低成本硬件带来的标定误差，均对数据一致性与下游策略迁移能力提出了挑战。

常用场景

经典使用场景

在机器人学习领域，视觉-动作联合建模是赋予机械臂精细操作能力的核心途径。该数据集以SO101 follower机械臂为平台，采集了50条成功关闭抽屉的遥操作示范轨迹，每条轨迹同步记录六维关节位置、动作指令以及左腕和顶视两路RGB视频流，频率为30Hz。其最经典的使用场景在于模仿学习算法的训练与评估，研究者可利用这些多模态时序数据训练端到端的视觉运动策略，使机械臂在给定初始状态下自主完成抽屉闭合任务，并借助腕部与全局视角的互补信息提升策略对遮挡和空间变化的鲁棒性。

解决学术问题

该数据集直面机器人模仿学习中演示数据稀缺与多视角融合验证困难两大议题。抽屉关闭涉及接触力控制、关节协调与末端定位等复合挑战，单一视角往往难以捕捉完整操作状态，而该数据集同时提供腕部近景与顶视全局图像，为考察视角配置对策略泛化能力的影响提供了受控实验条件。其意义在于，以标准化LeRobot格式降低了数据复用门槛，使不同实验室能够在统一基准上比较模仿学习、行为克隆及视觉表征学习方法的性能，进而推动可复现机器人研究的规范化进程。

衍生相关工作

依托LeRobot开源生态，该数据集衍生了一系列与模仿学习和视觉运动策略相关的工作。研究者基于其标准化的数据组织格式，开展了行为克隆基线测试、多视角融合策略对比以及视频表征预训练等实验。部分工作将其作为评估扩散策略与动作分块Transformer在精细操作任务上表现的基准之一，另有研究借助其腕部与顶视图像对探索视角dropout与空间注意力机制的效果。这些衍生工作共同丰富了开源机器人数据驱动研究的实践案例，并促进数据集格式在社区内的推广使用。