seriintan/rollout_eval_data_real_half_task1_20260526_151751

--- license: apache-2.0 task_categories: - robotics tags: - LeRobot configs: - config_name: default data_files: data/*/*.parquet --- This dataset was created using [LeRobot](https://github.com/huggingface/lerobot). <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=seriintan/rollout_eval_data_real_half_task1_20260526_151751"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## Dataset Description - **Homepage:** [More Information Needed] - **Paper:** [More Information Needed] - **License:** apache-2.0 ## Dataset Structure [meta/info.json](meta/info.json): ```json { "codebase_version": "v3.0", "fps": 30, "features": { "action": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.state": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.images.front": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "timestamp": { "dtype": "float32", "shape": [ 1 ], "names": null }, "frame_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "episode_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "task_index": { "dtype": "int64", "shape": [ 1 ], "names": null } }, "total_episodes": 1, "total_frames": 18975, "total_tasks": 1, "chunks_size": 1000, "data_files_size_in_mb": 100, "video_files_size_in_mb": 200, "data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "robot_type": "so_follower", "splits": { "train": "0:1" } } ``` ## Citation **BibTeX:** ```bibtex [More Information Needed] ```This dataset was created using the LeRobot tool, primarily for robotics applications. It contains one total episode with 18,975 frames collected at 30 fps. The dataset structure includes features such as action, observation.state, observation.images.front, timestamp, frame_index, episode_index, index, and task_index. The action and observation.state involve 6 dimensions corresponding to shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper positions. The front image observation is in video format with a resolution of 480x640 and 3 channels, using the av1 codec. The dataset is released under the Apache 2.0 license, with data files in parquet format, total data file size of 100 MB, and video file size of 200 MB. The robot type is so_follower, and splits are defined as training set (train: 0:1). It is designed to support robot control and research tasks.

搜集汇总

数据集介绍

构建方式

在机器人学习与具身智能研究中，高质量真实世界操作数据集的构建通常依托标准化采集平台与统一格式规范。该数据集借助LeRobot框架生成，以SO系列 follower 机械臂为采集载体，完整记录了任务执行过程中的多模态时序信息。数据以30帧每秒的采样频率持续采集，单条轨迹跨越18975帧，涵盖关节位置、夹爪开合状态及前视RGB视频流，并通过Parquet列式存储与AV1编码视频实现高效组织，最终形成单一episode的训练划分。

特点

该数据集呈现出鲜明的真实世界操作特征，其观测空间由六自由度关节位置与640×480分辨率前视图像构成，动作空间与状态空间维度对齐，便于策略学习中的状态-动作映射建模。数据规模为单任务、单轨迹、近两万帧，配合chunk分片机制与明确的文件命名规则，兼顾了存储效率与读取便利性。视频采用AV1编码与yuv420p像素格式，在压缩率与视觉保真度之间取得平衡，为视觉-运动联合建模提供了可靠的原始素材。

使用方法

研究者可借助LeRobot官方工具链直接加载该数据集，通过HuggingFace平台提供的可视化空间链接在线检视轨迹内容，或依据meta/info.json中定义的features结构与data_path、video_path模板定位具体数据文件。在训练流程中，用户可读取Parquet格式的表格数据获取动作与状态序列，同时解码对应视频帧以构建视觉输入，进而开展模仿学习、策略评估或世界模型训练。数据集遵循Apache-2.0许可，支持在机器人学习研究中自由使用与再分发。

背景与挑战

背景概述

伴随具身智能与机器人学习研究的纵深推进，真实世界操作数据的稀缺性日益成为制约策略泛化能力提升的核心瓶颈。在此背景下，rollout_eval_data_real_half_task1_20260526_151751数据集依托LeRobot开源生态构建，于2026年5月面世，由相关研究团队基于SO-Follower机械臂平台采集完成。该数据集聚焦于真实环境中的单任务操作评估，以六自由度关节位置与夹爪状态为动作与观测空间，同步记录前视视觉流与时间戳信息，旨在为机器人策略的离线评估与仿真到现实迁移提供标准化的真实轨迹参照。其基于Apache-2.0协议开放，对推动可复现的机器人学习研究具有积极的支撑意义。

当前挑战

该数据集所面对的首要挑战在于真实场景中操作任务的精确复现与评估，即在物理接触、感知噪声与执行器误差并存的条件下，如何使策略输出与真实轨迹保持语义一致。构建过程中，数据采集需保证高帧率同步、视觉与状态信号的时空对齐，同时规避因机械臂抖动或环境光照波动引入的标注偏差。单任务、单回合的数据规模限制了任务内与任务间的泛化验证，对评估指标的鲁棒性设计提出了更高要求。如何在有限轨迹中提取可靠的行为表征，并缩小真实评估与仿真训练之间的分布差异，仍是亟待深化的研究课题。

常用场景

经典使用场景

在机器人学习与具身智能领域，基于视觉-动作序列数据的策略评估与离线强化学习构成了该数据集最典型的使用范式。该数据集采集自so_follower机器人本体，以30帧每秒的时序频率记录了单一任务下长达18975帧的连续操作轨迹，涵盖六自由度关节位置指令及其对应的观测状态，同时提供前视摄像头的视频流。研究者借此能够构建模仿学习或行为克隆模型，将高维视觉观测映射为低层关节控制信号，进而系统评估策略在真实物理环境中的rollout表现。

解决学术问题

该数据集直面具身智能研究中长期存在的仿真到现实迁移鸿沟与真实机器人评估成本高昂两大核心难题。其通过提供真实机器人平台上的完整轨迹与同步视觉观测，为离线策略评估、时序动作预测以及视觉表征学习等学术议题提供了可靠的实证基准。数据中蕴含的关节角度与抓取器状态信息，使得研究者能够深入探究动作空间连续性建模、长时程任务规划及跨模态对齐等关键问题，对推动可复现机器人学习研究具有切实的方法论意义。

衍生相关工作

围绕该数据集所依托的LeRobot框架，社群已衍生出一系列具有代表性的后续工作，涵盖基于扩散策略的视觉运动控制、动作分块Transformer架构以及面向真实机器人的离线强化学习算法等。这些工作普遍将该数据格式作为标准化输入接口，在视觉编码器预训练、时序建模与策略泛化能力评测等方面形成协同效应。该数据集亦为开源机器人学习基准的构建提供了范式参考，促进了数据采集、模型训练与真实评估环节的贯通。