HyeonseokE/SO101-PickandPlace_Ours_60epi

该数据集是一个使用LeRobot创建的机器人操作数据集，专门用于SO101-PickandPlace任务。数据集包含60个episodes，总帧数为19875，以parquet格式存储数据，视频以mp4格式存储。数据集结构包括观测状态（如机器人关节位置）、动作、图像观测（来自顶部和左腕摄像头，分辨率为480x640）、末端执行器位置、技能信息（如自然语言描述、目标位置）和子任务信息（如对象名称和目标位置）。数据集适用于机器人学习和控制任务，如抓取和放置操作。

This dataset is a robotics manipulation dataset created using LeRobot, specifically for the SO101-PickandPlace task. It contains 60 episodes with a total of 19875 frames, stored in parquet format for data and mp4 format for videos. The dataset structure includes observation states (e.g., robot joint positions), actions, image observations (from top and left wrist cameras with 480x640 resolution), end-effector positions, skill information (e.g., natural language descriptions, goal positions), and subtask information (e.g., object names and target positions). It is suitable for robotics learning and control tasks such as pick-and-place operations.

搜集汇总

数据集介绍

构建方式

SO101-PickandPlace_Ours_60epi数据集是一个面向机器人抓取与放置任务的精细运动操控数据集，基于LeRobot框架构建。其数据采集依托于SO101型跟随机器人，通过遥操作方式获取60个完整演示片段，总计19875帧时序数据，帧率为10Hz。数据集以Parquet格式存储结构化运动状态与动作序列，同时以H.264编码的MP4视频文件记录来自顶部及左腕视角的高清视觉观测（480×640分辨率），实现多模态信息的高效耦合。数据按1000帧为一个分块单元进行组织，便于分布式加载与内存优化。

特点

该数据集的核心特色在于其多维度的语义与运动信息标注体系。除了6维关节空间的状态与动作指令（涵盖肩部、肘部、腕部及夹爪自由度）外，每个演示片段均配有自然语言描述的子任务标签、目标物体名称与三维空间目标位置，以及技能类型、验证问题和进度标志。此外，数据集还提供机器人末端执行器六维位姿（位置与欧拉角）和夹爪二进制状态，形成从高层任务意图到低层运动执行的完整层级化表征，为模仿学习与技能泛化研究提供了丰沛的监督信号。

使用方法

使用该数据集时，推荐通过HuggingFace的LeRobot库进行加载与可视化。用户可借助`lerobot`的Dataset类直接读取Parquet分块文件与关联视频，并以`episode_index`为索引按演示片段迭代数据。数据集的训练/测试分割设定为前60个片段全部用于训练（splits: train: "0:60"），适合构建端到端的策略学习范式。为兼容模型输入，应将`observation.state`与`action`的6维向量对齐，同时利用`observation.images`流中的双视角图像作为视觉观测，通过`transform`管道进行标准化与数据增强。

背景与挑战

背景概述

SO101-PickandPlace_Ours_60epi数据集由HyeonseokE团队基于LeRobot框架创建，专注于机器人操作任务中的抓取与放置（Pick-and-Place）场景。该数据集于2024年发布，记录了SO101型机械臂在执行单一任务时的60个完整演示回合，涵盖19875帧时间序列数据。核心研究问题在于通过多模态观测（包括顶部与左腕部相机的高清视频、关节状态、末端执行器位姿及夹爪状态）与精细标注的技能标签（如自然语言描述、验证问题、目标位置等），为模仿学习与机器人技能迁移提供标准化基准。其在机器人学习领域的影响力体现在推动了从原始传感器数据到语义理解的任务映射研究，尤其是结合语言指令与视觉反馈的端到端策略学习范式。

当前挑战

该数据集所解决的领域问题集中于机器人抓取与放置任务中的泛化性挑战：传统方法对特定物体和固定场景依赖性强，而SO101通过包含多样化物体位置、夹爪开合状态及语言子任务描述，要求模型从有限演示中提取可迁移的操作策略。构建过程中面临的挑战包括多模态数据的同步采集——需确保6自由度关节状态、3D位姿（xyzrpy）与双视角视频流在10Hz采样率下的时间对齐；此外，对60个演示回合中技能进度（skill.progress）与子目标位置（subtask.target_position）的精确人工标注耗时且易引入噪声，如何平衡数据规模与标注质量成为关键瓶颈。

常用场景

经典使用场景

在机器人操作与模仿学习领域，SO101-PickandPlace_Ours_60epi数据集作为一项精细化的基准资源，广泛应用于训练机械臂完成抓取与放置任务。该数据集记录了60个完整轨迹片段，包含近两万帧时序数据，融合了六自由度关节状态、末端执行器位姿及双目视觉观测（顶部与左腕视角）。研究者通常利用其高保真的动作-状态对，训练基于视觉的运动策略，如扩散策略或行为克隆模型，以实现从像素到关节指令的端到端映射，尤其适用于研究稀疏奖励下的长时序操作泛化能力。

实际应用

在实际工业场景中，该数据集为柔性制造与仓储物流中的自动化分拣系统提供了关键支撑。基于该数据训练的模型可迁移至协作机器人，完成从传送带上拾取特定零件并放置于指定工位的任务。其内置的视觉与关节信息使机器人能够适应光照变化、零件位姿随机偏移等环境扰动，显著提升产线自适应能力。此外，通过集成语言指令，非专家用户可直观地根据需求描述调整操作目标，降低了人机协作门槛，对智能家居服务与医疗辅助操作等场景同样具有启发价值。

衍生相关工作

围绕该数据集衍生了一系列具有深远影响的经典工作。在算法层面，研究者基于其多模态特征开发了面向机器人技能学习的语言条件行为克隆框架，将自然语言指令直接解码为轨迹规划约束。同时，该数据促进了基于扩散模型的策略生成方法在操作领域的验证，通过去噪概率建模学习复杂动作分布。在系统层面，LeRobot生态的集成使得数据-模型-仿真闭环得以实现，催生出可复现的基线工作，如将决策变压器应用于奖励稀疏的抓取任务。这些工作共同塑造了当前机器人学习领域重视数据质量与结构化表示的学术共识。