CarlosMunoz0/vla-mujoco-so101-merged-v1

--- license: apache-2.0 task_categories: - robotics tags: - LeRobot configs: - config_name: default data_files: data/*/*.parquet --- This dataset was created using [LeRobot](https://github.com/huggingface/lerobot). <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=CarlosMunoz0/vla-mujoco-so101-merged-v1"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## Dataset Description - **Homepage:** [More Information Needed] - **Paper:** [More Information Needed] - **License:** apache-2.0 ## Dataset Structure [meta/info.json](meta/info.json): ```json { "codebase_version": "v3.0", "robot_type": "so101_mujoco", "total_episodes": 305, "total_frames": 297016, "total_tasks": 4, "chunks_size": 1000, "data_files_size_in_mb": 100, "video_files_size_in_mb": 200, "fps": 30, "splits": { "train": "0:305" }, "data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "features": { "action": { "dtype": "float32", "shape": [ 6 ], "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ] }, "observation.state": { "dtype": "float32", "shape": [ 6 ], "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ] }, "observation.images.realsense": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "observation.images.wrist_cam": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "timestamp": { "dtype": "float32", "shape": [ 1 ], "names": null }, "frame_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "episode_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "task_index": { "dtype": "int64", "shape": [ 1 ], "names": null } } } ``` ## Citation **BibTeX:** ```bibtex [More Information Needed] ```This dataset is created using the LeRobot framework in the robotics domain, specifically for the so101_mujoco robot type. It contains 305 episodes with a total of 297016 frames, covering 4 distinct tasks. The data is stored in parquet format, with a total data file size of 100MB and video file size of 200MB. Dataset features include: action as a 6-dimensional float32 array representing robot joint positions (e.g., shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper positions); observation.state as a 6-dimensional float32 array reflecting real-time joint positions; image observations from two cameras: realsense and wrist_cam, both providing RGB video at 480x640 resolution with 3 channels, a frame rate of 30fps, using AV1 codec; additionally, metadata such as timestamp, frame index, episode index, index, and task index are included. All data is allocated for training splits, suitable for research tasks like robot control and vision-language-action (VLA) applications.

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量多模态操作数据的构建往往依赖真实硬件实验，而该数据集另辟蹊径，依托LeRobot框架并集成MuJoCo物理仿真引擎，针对so101_mujoco机械臂完成数据采集。全部305个回合、297016帧与4项任务均由仿真环境自动生成，无需人工遥操作。数据按训练划分组织为Parquet列式存储，视频流以AV1编码保存，动作空间与状态空间均以6维关节位置向量表征，覆盖肩部旋转、升降、肘部弯曲、腕部翻转与夹爪开合，形成结构规整、可复现的机械臂操控数据集。

特点

该数据集具备鲜明的多模态与仿真驱动属性，其核心特点在于同步提供视觉观测与关节级本体感知信息。视觉层面包含前视realsense相机与腕部相机两路480×640分辨率视频，帧率稳定在30fps，可完整刻画操作过程中的场景演变与局部交互细节。数据以30Hz频率对齐时间戳、帧序号、回合序号及任务序号，动作向量与状态向量共享一致的物理语义，便于模仿学习与策略训练。整体规模适中且任务类型集中，既保证样本充分性，又降低存储与计算开销，适用于仿真环境下的算法验证与基准对比。

使用方法

使用者可通过HuggingFace Hub直接加载该数据集，亦可根据info.json中定义的路径模板定位分块数据与视频文件。借助LeRobot提供的可视化空间，能够在线浏览各回合的视觉流与动作轨迹，快速理解任务执行过程。在训练环节，建议将data目录下的Parquet文件与videos目录下的MP4文件联合读取，以observation.state和observation.images为输入、action为预测目标，构建模仿学习或强化学习策略。鉴于其仿真性质，该数据集适合作为预训练或消融实验的基础资源，用于检验机械臂控制算法在标准化环境中的泛化表现。

背景与挑战

背景概述

视觉-语言-动作（VLA）模型作为具身智能领域的前沿方向，致力于弥合多模态感知与机器人低层控制之间的鸿沟。vla-mujoco-so101-merged-v1数据集依托LeRobot框架构建，由Carlos Munoz等研究者整合发布，聚焦于MuJoCo仿真环境中SO-101机械臂的操作任务。该数据集涵盖305个回合、近30万帧、4类任务，同步采集RealSense全局视图与腕部相机视频流，以及6自由度关节位置与动作数据，为VLA策略的端到端训练与评估提供了高保真仿真基准，推动了机器人学习从仿真到现实的可迁移性研究。

当前挑战

该数据集所涉领域面临的核心挑战在于：仿真环境与真实物理世界之间的感知与动力学差异，导致策略迁移时出现严重的分布偏移；多模态观测（视觉与本体状态）与连续动作空间的高维耦合，使得模型难以高效学习长时程操作技能；4类任务在305个回合中的样本分布不均衡，可能引发对特定任务的过拟合。构建过程中，需在MuJoCo中精准标定SO-101机械臂的动力学参数，确保双相机同步采集的时序一致性，并对近30万帧视频进行高效编解码与存储优化，以维持数据完整性与可用性。

常用场景

经典使用场景

在机器人学习与具身智能研究领域，视觉-语言-动作（VLA）模型的训练高度依赖高质量、多模态的示范数据。vla-mujoco-so101-merged-v1数据集正是面向这一需求构建的经典资源，其以SO-101机械臂在MuJoCo物理仿真环境中的操作轨迹为核心，涵盖305个回合、近三十万帧的同步记录。该数据集的经典使用场景集中于模仿学习与策略预训练，研究者通常利用其包含的六维关节位置动作空间、双路视觉观测（外部RealSense相机与腕部相机）以及时间戳与回合索引，开展行为克隆、视觉运动策略学习与端到端动作预测，从而在仿真环境中实现抓取、放置等多步操作任务的复现与泛化。

衍生相关工作

围绕该数据集，已衍生出一系列与LeRobot生态紧密相关的工作，涵盖数据可视化工具、策略训练脚本与仿真到现实的迁移实验。研究者基于其多任务结构与双相机配置，开展了视觉编码器对比、动作分块预测与扩散策略等方法的验证，亦有工作将其作为预训练语料，探索跨本体与跨任务的策略泛化。这些衍生实践不仅丰富了开源机器人学习工具链，也为后续数据集的扩展与标准化提供了参照，促进了社区在仿真操作数据格式与评估协议上的共识形成。

数据集最近研究

最新研究方向

在具身智能与机器人学习领域，视觉-语言-动作模型的仿真到现实迁移正成为前沿焦点，而该数据集凭借Mujoco仿真环境与SO101机械臂平台的融合，为策略泛化与多模态表征学习提供了标准化基准。当前研究趋势集中于利用高帧率视觉观测与低维本体感受信号进行端到端策略训练，以缓解现实场景中数据稀缺与安全约束的瓶颈。该数据集收录305个片段与近30万帧，涵盖4类操作任务，其双视角视觉输入与六维动作空间设计，有助于探索跨任务泛化、仿真域随机化及动作分块策略，对推动可复现的机器人学习与VLA模型评估具有重要支撑意义。