wangxu1111/lerobot_datasets_v4_fullfps_prompt_v2_with_videos

该数据集用于机器人操作/力控相关训练与评估，包含结构化轨迹数据（Parquet）与配套视频（MP4）。数据规模包括总体积约4.3 GB，其中data/目录包含1190个Parquet文件（约1.14 GB），videos/目录包含2380个MP4文件（约2.78 GB），meta/目录包含元信息文件（约0.04 GB）。目录结构清晰，字段示例详细，包括轨迹与时序、观测状态、动作、监督与辅助以及物理随机化等字段。This dataset is used for robot manipulation/force control related training and evaluation, containing structured trajectory data (Parquet) and accompanying videos (MP4). The data scale includes a total volume of approximately 4.3 GB, with the data/ directory containing 1190 Parquet files (about 1.14 GB), the videos/ directory containing 2380 MP4 files (about 2.78 GB), and the meta/ directory containing metadata files (about 0.04 GB). The directory structure is clear, and the field examples are detailed, including fields such as trajectory and timing, observation state, actions, supervision and assistance, and physical randomization.

搜集汇总

数据集介绍

构建方式

该数据集专为机器人操作与力控任务设计，融合了海量结构化轨迹数据与同步视频记录。其构建方式别具匠心，将高精度的运动轨迹、力传感器读数及任务描述等信息存储于Parquet格式文件中，同时以视频文件记录操作过程的视觉信息，形成多模态数据对的有机组合。数据组织上，它按块（chunk）划分存放，每个片段（episode）均包含对应的表格数据与视频文件，并附有元信息文件，便于高效索引与管理。

特点

该数据集的显著特点在于其丰富的监督信号与精度，涵盖了从关节位置到末端位姿、从力/力矩到接触状态等观测状态，并提供了物理参数随机化信息，增强了数据的多样性与泛化性。此外，它包含了同步的视觉与动作数据，为模仿学习与力控制算法研究提供了高质量的基准。prompt和task字段的存在，使其特别适用于基于自然语言指令的任务学习场景。

使用方法

使用者可通过Hugging Face Hub的snapshot_download函数便捷地下载完整数据集，或使用Git LFS进行克隆。数据加载方面，推荐采用PyArrow库读取Parquet文件，以获取结构与元数据信息。对于包含视频的任务，需确保本地存储空间充足。该数据集可直接用于训练机器人操作的模仿学习模型，亦可结合力控信号进行更精细的物理交互评估与验证。

背景与挑战

背景概述

该数据集由wangxu1111于2025年创建，专注于机器人操作与力控领域的模仿学习研究。其核心研究问题在于如何通过结构化轨迹数据与多模态观测信息（如关节状态、末端位姿、力/力矩及接触估计），提升机器人在复杂物理环境下的操作精度与力控鲁棒性。作为基于LeRobot框架的数据集，它提供了包含物理随机化参数（如摩擦系数、刚度）的丰富样本，推动了力控模仿学习从简单运动复现向物理交互适应的范式转变，对机器人灵巧操作和装配任务的研究具有重要支撑作用。

当前挑战

领域层面，该数据集旨在解决机器人操作中力控与物理交互建模的难题，尤其是如何使模型适应不同表面特性、摩擦力及接触状态的变化。构建过程中，需同步采集高帧率时序状态数据与高清视频，面临多模态数据对齐与存储效率的挑战——4.3GB数据包含2380段视频与1190个轨迹文件，需确保帧级时间戳与物理随机化参数的一致性。此外，需设计合理的字段结构以支持力控监督（如target_force、contact_state）与任务泛化，平衡轨迹多样性（1190条）与数据冗余，避免过采样导致的模型偏差。

常用场景

经典使用场景

在机器人操作与力控研究领域，该数据集的核心用途在于为模仿学习与精密力控算法提供标准化的训练与评估基准。其结构化轨迹数据以Parquet格式存储，详尽记录了关节角度、末端执行器位姿、力/力矩反馈及接触状态等时序信息，配合高帧率视频数据，可用于端到端策略学习、多模态感知融合以及物理随机化下的泛化能力验证。研究者常利用其丰富的状态-动作对，结合prompt与task字段，构建基于视觉或力觉的决策模型，尤其适用于精密装配、柔性抓取等需要精细力控的场景。

解决学术问题

该数据集系统性地回应了机器人学习领域中数据异质性与物理交互建模的两大难题。一方面，通过统一记录轨迹、力传感器读数与接触状态，为从仿真到现实迁移中的力控策略优化提供了高保真训练材料；另一方面，引入物理随机化参数（如摩擦系数、刚度、表面属性），有效支撑了域随机化方法的验证，解决了模型在多变环境下鲁棒性不足的学术困境。此外，数据集中包含的接触估计与相位标注，为细粒度任务分解与分层强化学习提供了关键监督信号，推动了操作技能精细化建模的研究进展。

衍生相关工作

围绕该数据集的特性，学界已衍生出多项经典工作。在模仿学习方向，研究者基于其高精度轨迹与力信息，提出了融合接触可变性建模的扩散策略，提升了复杂操作的成功率。在力控领域，部分工作利用数据中的物理随机化字段，开发了自适应阻抗控制器，实现了对不同表面摩擦和刚度的实时调节。此外，数据集的视频与状态对齐特性催生了基于视觉-触觉联合表征的预训练框架，如RobotVIP模型，显著增强了策略在未知物体上的泛化能力。这些衍生研究共同推动了机器人操作从固定程序向通用智能的演进。