rslxcvg/task2_v4

--- license: apache-2.0 task_categories: - robotics tags: - LeRobot configs: - config_name: default data_files: data/*/*.parquet --- This dataset was created using [LeRobot](https://github.com/huggingface/lerobot). <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=rslxcvg/task2_v4"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## Dataset Description - **Homepage:** [More Information Needed] - **Paper:** [More Information Needed] - **License:** apache-2.0 ## Dataset Structure [meta/info.json](meta/info.json): ```json { "codebase_version": "v3.0", "fps": 30, "features": { "action": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.state": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.images.front": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "h264", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false, "video.extra_options": {}, "video.video_backend": "pyav", "video.g": null, "video.crf": null, "video.preset": null, "video.fast_decode": null } }, "timestamp": { "dtype": "float32", "shape": [ 1 ], "names": null }, "frame_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "episode_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "task_index": { "dtype": "int64", "shape": [ 1 ], "names": null } }, "total_episodes": 540, "total_frames": 224574, "total_tasks": 3, "chunks_size": 1000, "data_files_size_in_mb": 100, "video_files_size_in_mb": 200, "data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "robot_type": "so_follower", "splits": { "train": "0:540" } } ``` ## Citation **BibTeX:** ```bibtex [More Information Needed] ```This is a robotics dataset created using the LeRobot tool, specifically designed for robot learning and control tasks. The dataset consists of 540 total episodes, totaling 224,574 frames, and covers 3 distinct tasks. The features include action and observation state, both represented in float32 format, involving robot joint positions (such as shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper positions). The observation also includes front-view images (observation.images.front) stored in video format with a resolution of 480x640, 3 channels, a frame rate of 30fps, and encoded with h264. The dataset structure additionally includes metadata such as timestamp, frame index, episode index, index, and task index. Data files are stored in Parquet format, while video files are in MP4 format. The robot type is so_follower, the dataset is licensed under Apache-2.0, and it includes a training split (all 540 episodes for training).

搜集汇总

数据集介绍

构建方式

在机器人学习与具身智能数据构建的脉络中，task2_v4 依托 LeRobot 框架生成，并按 LeRobot 规范组织为 Hugging Face 数据集。默认配置将轨迹写入 data/*/*.parquet，元信息由 meta/info.json 声明。机器人类型为 so_follower，采样率 30 FPS，含 540 个回合、224574 帧与 3 个任务；动作和观测状态均为六维关节位置，涵盖肩、肘、腕与夹爪控制维度。前视视频以 480×640、H.264 和 yuv420p 格式记录。数据按 chunk 切分，训练划分覆盖 0:540。

特点

面向机器人操作策略学习，task2_v4 呈现多模态、时序同步与任务结构化并重的特征。动作与 observation.state 共享六维关节位置命名体系，为模仿学习或控制策略提供低维连续监督；observation.images.front 提供 480×640、30 FPS 前视视频，使视觉感知与本体状态在统一时间轴下对齐。540 个回合、224574 帧和 3 个任务构成交互样本集合，timestamp、frame_index、episode_index 与 task_index 便于回合切分、时序建模及任务条件训练。数据采用 LeRobot v3.0 与 Apache-2.0 许可，兼具生态兼容性与开放使用条件。

使用方法

围绕机器人学习工作流，task2_v4 可通过 Hugging Face 数据集接口或 LeRobot 工具链加以使用。默认配置指向 data/*/*.parquet，使用者可先读取 meta/info.json 获取特征定义、采样率、数据路径与视频路径，再依据 data_path 和 video_path 规则加载 Parquet 轨迹及 MP4 视频。训练或分析时，可将 action、observation.state 与 observation.images.front 组合为策略学习输入，并按 train 划分 0:540 进行实验。README 提供的可视化空间可用于浏览数据集内容，Apache-2.0 许可则为复现、共享与二次开发提供授权基础。

背景与挑战

背景概述

在机器人学习与具身智能迅速演进的背景下，task2_v4依托Hugging Face LeRobot工具链构建，面向低成本机械臂操作技能的数据驱动建模。该数据集由Hugging Face用户rslxcvg发布，采用so_follower机器人，涵盖3类任务、540条轨迹、224574帧，以30fps同步采集六维关节状态、动作指令及前视RGB视频。README未披露具体创建时间、作者与论文，故其学术溯源尚不明确；其核心研究问题可概括为通过视觉—状态—动作时序对齐，支撑模仿学习与策略泛化。对机器人学习社区而言，该数据集以开放格式与可复用结构，具有基准测试和算法比较价值。

当前挑战

机器人操作策略学习长期受制于真实数据采集成本高、任务覆盖有限、视觉—动作时序对齐困难等瓶颈，task2_v4需在3类任务中支撑跨轨迹泛化与长时序技能建模。构建过程中，多模态同步与大规模存储构成主要挑战：540条轨迹、224574帧需保证30fps下视频、关节状态、动作及时间戳严格对齐；H.264视频编码可能引入压缩伪影，影响视觉表征；LeRobot标准化还要求元数据、分片与索引一致。任务标签稀疏、机器人平台单一与场景多样性不足，亦限制模型迁移能力。

常用场景

经典使用场景

在机器人学习与具身智能领域，示范轨迹数据集构成策略学习的基石。task2_v4以LeRobot格式组织540段、224574帧的SO follower机械臂操作轨迹，涵盖前视RGB视频、六维关节状态与动作、时间戳及任务索引。其经典使用场景为视觉运动模仿学习：模型以observation.images.front与observation.state为输入，预测六维action，包括肩部、肘部、腕部与夹爪位置。研究者常借此开展行为克隆、离线策略预训练和闭环控制评测，并在三个任务间检验时序建模与视觉表征能力。30fps视频与细粒度帧索引支持训练ACT、Diffusion Policy等端到端策略。

解决学术问题

机器人操作研究长期受制于真实演示数据采集成本高、任务覆盖有限与可复现性不足。task2_v4通过多任务、多回合的标准化轨迹，为视觉-动作映射、示范效率、长时程依赖、多模态表征等学术问题提供受控经验基础。它缓解了仿真到现实迁移中缺乏真实视觉与关节控制数据的问题，使行为克隆在真实机械臂上的泛化与鲁棒性可被系统检验。三任务设置亦有助于探究任务条件策略、元学习与跨任务知识共享。作为Apache-2.0许可数据集，其公开性提升实验可重复性，为社区比较模仿学习算法、分析失败模式与建立基准提供数据支撑。

衍生相关工作

围绕LeRobot生态，task2_v4可关联到一系列经典模仿学习与机器人基础模型工作。ACT以Transformer编码视觉与关节序列并预测动作块，Diffusion Policy将动作生成建模为条件扩散过程，二者常在此类LeRobot格式数据上训练与评测。VQ-BeT、行为克隆基线及π0等通用策略亦可借助统一特征结构进行适配。数据集附带的可视化工具与parquet/video组织方式，促进了数据加载、时序采样和策略部署相关工具链发展。相关研究由此延伸至多任务策略、跨本体迁移、视频预训练和真实机器人闭环控制，形成具身智能领域可复用工作流。