kian2020/rollout_pp_act_policy_20260526_122032

--- license: apache-2.0 task_categories: - robotics tags: - LeRobot configs: - config_name: default data_files: data/*/*.parquet --- This dataset was created using [LeRobot](https://github.com/huggingface/lerobot). <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=kian2020/rollout_pp_act_policy_20260526_122032"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## Dataset Description - **Homepage:** [More Information Needed] - **Paper:** [More Information Needed] - **License:** apache-2.0 ## Dataset Structure [meta/info.json](meta/info.json): ```json { "codebase_version": "v3.0", "fps": 30, "features": { "action": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.state": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.images.front": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "observation.images.top": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "timestamp": { "dtype": "float32", "shape": [ 1 ], "names": null }, "frame_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "episode_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "task_index": { "dtype": "int64", "shape": [ 1 ], "names": null } }, "total_episodes": 1, "total_frames": 3051, "total_tasks": 1, "chunks_size": 1000, "data_files_size_in_mb": 100, "video_files_size_in_mb": 200, "data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "robot_type": "so_follower", "splits": { "train": "0:1" } } ``` ## Citation **BibTeX:** ```bibtex [More Information Needed] ```This dataset is a robotics dataset created using LeRobot, containing one episode of robot operation data with a total of 3051 frames. The dataset features include actions (6 float values corresponding to shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper positions), observation states (same 6 float values as actions), front and top view images (video format, resolution 480x640, 3 channels, 30fps), timestamp, frame index, episode index, index, and task index. The data is stored in Parquet file format, and videos are stored in MP4 format. The robot type is so_follower, and the dataset is primarily used for training and evaluating robot policies.

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量演示数据的采集与组织是策略训练的关键环节，该数据集依托LeRobot框架构建，采用SO-Follower型机械臂在真实环境中执行操作任务，以30帧每秒的频率同步采集六自由度关节位置动作指令与对应的状态观测，并分别从前置与顶部两个视角录制480×640分辨率的视频流，所有模态数据按时间戳对齐，最终以Parquet格式分块存储，形成单一回合共3051帧的完整轨迹记录。

特点

该数据集立足于机器人模仿学习与策略评估的实际需求，呈现出多模态融合与结构化组织的显著特征。其核心在于同步捕获动作向量与视觉观测，动作与状态均以六维关节位置表示，涵盖肩部旋转、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转及夹爪开合，两路视频信号则提供了前向与俯视的互补空间信息，便于考察策略对场景几何与操作对象的感知能力。数据集规模精简，仅含单条轨迹，适合作为策略回放验证或快速原型测试的轻量级素材，所有字段命名与元数据配置遵循统一规范，保障了跨平台复用的一致性。

使用方法

研究者在利用该数据集时，可借助LeRobot工具链直接加载Parquet格式的数据文件，结合meta/info.json中声明的特征结构解析动作、状态与视频流，通过HuggingFace平台提供的可视化空间链接在线回放轨迹，直观检验策略行为与观测的对应关系。训练阶段可将动作序列作为监督信号，将双视角图像与关节状态作为输入特征，构建端到端的策略网络；评估阶段则可通过对比预测动作与真实动作的偏差，量化策略在单回合场景下的表现，数据集遵循Apache-2.0许可，允许在合规前提下灵活用于学术研究与工程实践。

背景与挑战

背景概述

机器人模仿学习与策略泛化研究长期依赖高质量、标准化的操作轨迹数据，但公开资源多聚焦单一任务，且格式碎片化，制约了算法复现与横向比较。该数据集由LeRobot框架构建，基于SO-100系列低成本开源机械臂，于2026年5月生成，旨在为ACT等策略模型的端到端训练提供真实世界演示。其单回合3051帧的同步视觉与关节状态记录，显著降低了社区数据采集门槛，推动了可复现机器人学习的基准建设。

当前挑战

该数据集所对应的领域问题在于复杂接触操作中的长时程策略学习与跨场景泛化：策略需在视觉遮挡、物体位姿不确定及执行误差累积下保持鲁棒。构建层面的挑战同样突出，包括多相机与关节状态的高频时间同步、AV1视频编码与parquet元数据的一致性校验，以及单回合采集对数据多样性的固有限制。这些因素共同导致策略易过拟合于特定初始条件，并加剧了仿真到现实迁移的评估难度。

常用场景

经典使用场景

在具身智能与机器人学习领域，机器人操作策略的离线评估与闭环验证是算法迭代的关键环节。该数据集以LeRobot格式记录了单一任务下六自由度机械臂的完整运动轨迹，涵盖肩部旋转、肘部屈伸、腕部翻转及夹爪开合等关节位置序列，并同步采集了前视与俯视双路RGB视频流。其最经典的使用场景在于作为行为克隆或视觉-语言-动作模型的验证集，通过回放或在线推理方式检验策略网络在真实物理环境中的动作预测精度与任务完成度，为策略鲁棒性分析提供可复现的基准数据。

解决学术问题

该数据集直面机器人学习中策略泛化能力评估与仿真到现实迁移验证两大核心难题。传统研究常受限于真实机器人数据采集成本高昂且难以标准化，导致策略评估缺乏统一参照。此数据集以标准化Apache-2.0协议发布，提供高帧率同步观测与动作标签，使研究者能够在相同初始条件下对比不同模仿学习算法的样本效率与收敛特性，进而探究视觉表征质量对动作序列生成的影响机制，为策略网络架构设计与训练策略优化提供实证依据。

衍生相关工作

围绕该数据集，后续工作可沿三个方向展开：其一，基于相同采集框架扩展多任务与多物体操作数据，形成任务多样化的基准集合；其二，利用其动作序列训练扩散策略或动作分块Transformer等新兴模型，推动长时程操作规划研究；其三，将数据集作为仿真到现实迁移的测试床，评估域随机化与视觉域适应技术的有效性。这些衍生工作共同丰富了开源机器人学习生态，为社区协作与可复现研究奠定数据基础。