LizhenDai/lerobot_lizhen_dataset_20260525_192247

这是一个由LeRobot创建的机器人数据集，专门用于机器人控制和学习任务。数据集包含20个总episodes和11931个总frames，涉及单个任务。数据特征包括：动作数据（6个关节位置：肩部平移、肩部提升、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置），观察状态数据（与动作相同的6个关节位置），以及两个视角的图像观察：前视图像（分辨率1080x1920，30fps，彩色视频）和侧视图像（分辨率480x640，30fps，彩色视频）。此外，数据集还包括时间戳、帧索引、episode索引、索引和任务索引等元数据。机器人类型为so_follower。数据以parquet文件格式存储，视频以mp4格式存储，总数据文件大小为100MB，视频文件大小为200MB。数据集适用于训练和评估机器人控制模型，支持强化学习和模仿学习等应用。This is a robotics dataset created by LeRobot, specifically designed for robot control and learning tasks. The dataset contains a total of 20 episodes and 11931 frames, involving a single task. Data features include: action data (6 joint positions: shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper position), observation state data (the same 6 joint positions as actions), and image observations from two perspectives: front view (resolution 1080x1920, 30fps, color video) and side view (resolution 480x640, 30fps, color video). Additionally, the dataset includes metadata such as timestamp, frame index, episode index, index, and task index. The robot type is so_follower. Data is stored in parquet file format, videos in mp4 format, with a total data file size of 100MB and video file size of 200MB. The dataset is suitable for training and evaluating robot control models, supporting applications like reinforcement learning and imitation learning.

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量演示数据的采集与结构化封装是训练策略模型的基础。该数据集依托LeRobot框架构建，通过遥操作或自主演示方式操控so_follower机器人完成单一任务，同步记录六自由度关节位置、双视角视频流及时间戳信息。全部20个回合共11931帧数据按每1000个回合为一个数据块组织，以Parquet格式存储状态与动作序列，视频则采用AV1编码保存于MP4文件，形成规范的v3.0版本数据集结构。

特点

该数据集呈现出多模态同步、细粒度时序与双视角覆盖的显著特征。动作与观测状态均为六维连续量，涵盖肩部旋转、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转及夹爪开合，采样频率30Hz，确保动作轨迹的平滑刻画。视觉模态包含前置1080p与侧方480p两路视频，帧率与状态数据严格对齐，为策略学习提供丰富的空间上下文。数据集划分仅含训练集，任务种类单一，适合针对特定操作技能的深入建模与验证。

使用方法

在机器人策略学习与模仿学习研究中，该数据集可直接通过LeRobot工具链加载与解析。配置文件meta/info.json明确了特征维度、视频路径及数据分块规则，用户可依据data_path与video_path字段索引Parquet文件与MP4视频，按timestamp与frame_index实现多模态对齐。结合HuggingFace Spaces提供的可视化工具，研究者能够在线回放回合轨迹，检查动作与视觉观测的对应关系。该数据集适用于训练行为克隆、动作预测等模型，亦可作为基准用于评估算法在单一任务上的表现。

背景与挑战

背景概述

伴随具身智能与机器人学习领域的迅猛发展，高质量、标准化的真机操作数据集成为推动策略泛化与算法迭代的核心基础设施。lerobot_lizhen_dataset_20260525_192247依托HuggingFace LeRobot框架构建，由研究者LizhenDai创建，采用Apache-2.0许可发布。该数据集以so_follower机械臂为采集平台，涵盖6自由度关节位置与夹爪开合状态，同步记录前视与侧视双路视频，共20个回合、11931帧、30fps，聚焦单一任务。其标准化特征命名与分块存储结构，为模仿学习与视觉-运动策略研究提供了可复现的数据支撑，对推动开源机器人生态建设具有积极意义。

当前挑战

该数据集所应对的领域问题在于，如何以低维关节状态与高维视觉观测的异构融合，驱动机械臂在真实环境中完成精细化操作，这对策略的表征学习与跨模态对齐提出了严峻考验。构建过程中亦面临多重挑战：真机采集受硬件抖动、光照变化与标定误差影响，数据一致性难以保证；avis视频编码在压缩率与解码效率间需权衡；单任务20回合的规模在任务多样性与泛化能力上存在局限；坐标系、关节顺序与时间戳对齐的标准化要求，进一步增加了数据工程的复杂度。

常用场景

经典使用场景

在机器人学习领域，基于演示的操作策略学习一直是核心议题。该数据集依托LeRobot框架构建，经典使用场景为视觉-动作联合模仿学习：研究者利用前视与侧视双路视频观测，结合六自由度机械臂的关节位置与夹爪状态，训练端到端的操作策略网络，使机器人能够在给定视觉输入下复现演示中的抓取、移动等动作序列，属于典型的视觉运动策略学习范式。

衍生相关工作

围绕该数据集，常见衍生工作包括基于扩散策略或动作分块Transformer的模仿学习改进、多视角融合的视觉编码器设计，以及利用该数据开展的数据增强与仿真到现实迁移研究。这些工作通常在LeRobot开源框架下进行，形成从数据采集、策略训练到真机评测的完整研究闭环，为后续更大规模操作数据集的建设提供了参考范式。

数据集最近研究

最新研究方向

在具身智能与机器人操作学习领域，以LeRobot框架为依托的lerobot_lizhen_dataset_20260525_192247数据集，为视觉-动作联合建模提供了关键的实证基础。该数据集采集自so_follower机械臂，涵盖20个示教回合、11931帧30fps的高分辨率前视与侧视双视角视频，并同步记录六自由度关节位置与夹爪状态，其多模态时序结构契合当前模仿学习与视觉-语言-动作模型的前沿探索。围绕该数据集的研究正聚焦于跨视角空间表征对齐、长时序动作分块策略以及基于扩散策略的精细操作生成，旨在提升机器人在非结构化环境中的泛化能力与任务鲁棒性，为开源机器人学习生态的标准化与可复现性树立重要范式。