KS325/close-upper-drawer-r2-occ-val

该数据集是使用LeRobot工具创建的机器人学数据集，专注于关闭上层抽屉的任务。数据集包含4个完整的情节（episodes），总计2997帧数据，以parquet格式存储。数据特征包括机器人的动作（如肩部平移、肩部提升、肘部弯曲、腕部弯曲、腕部滚动和夹爪位置）、观测状态（关节位置和来自两个摄像头的图像，分辨率为480x640，帧率为30fps），以及时间戳、帧索引、情节索引等元数据。数据集适用于机器人控制、模仿学习或强化学习研究。This dataset was created using the LeRobot tool and focuses on robotics tasks, specifically closing an upper drawer. It contains 4 complete episodes with a total of 2997 frames, stored in parquet format. The features include robot actions (such as shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper positions), observation states (joint positions and images from two cameras with a resolution of 480x640 at 30fps), as well as metadata like timestamps, frame indices, and episode indices. The dataset is suitable for research in robot control, imitation learning, or reinforcement learning.

搜集汇总

数据集介绍

构建方式

该数据集依托LeRobot框架构建，聚焦于机械臂操作任务中的抽屉关闭动作。数据采集以so_follower机器人为平台，通过遥操作或预设策略生成4个独立回合的示范轨迹，累计2997帧，采样频率为30Hz。每条轨迹同步记录六维关节位置动作与状态向量，以及来自两路摄像头的视觉观测，视频以AV1编码存储于MP4文件，元数据与帧索引信息以Parquet格式分块组织，确保高效读取与解析。

特点

数据集的核心特征在于多模态同步性与任务特异性。其囊括本体感知的关节角度与末端执行器位置，并融合两路480×640分辨率的视觉流，为模仿学习与视触觉策略提供丰富输入。四个回合的少量示范虽规模精简，但覆盖了关闭上方抽屉的完整动作周期，适用于验证算法在接触密集型任务中的泛化能力。所有视频均不含音频且采用yuv420p像素格式，便于视觉模型直接处理。

使用方法

使用者可借助LeRobot工具链加载数据集，通过解析meta/info.json获取数据路径与特征定义，并利用HuggingFace Spaces上的可视化工具在线浏览轨迹。训练时，可按帧索引读取Parquet文件中的动作与状态序列，同时从对应视频路径提取图像帧，构建时序对齐的观测-动作对。数据集划分为单一训练集，适用于行为克隆、离线强化学习及视觉运动策略的基准测试，需遵循Apache-2.0许可协议使用。

背景与挑战

背景概述

在机器人学习领域，高质量的真实世界操作数据集是推动算法泛化与部署的关键基石。close-upper-drawer-r2-occ-val数据集基于LeRobot框架构建，专注于‘关闭上层抽屉’这一精细操作任务，由相关研究团队在真实机器人平台上采集。该数据集旨在为视觉-动作策略学习提供标准化的评估基准，其核心研究问题在于如何从有限演示中习得鲁棒的开环与闭环控制能力。尽管规模有限，但该数据集为机器人操作技能的验证与比较提供了可复现的实验环境，对推动具身智能领域的发展具有积极的参考价值。

当前挑战

该数据集所应对的领域问题在于真实机器人操作中高精度闭环控制的泛化性——‘关闭上层抽屉’要求机器人协调肩、肘、腕及夹爪的联动，并精准感知抽屉把手位置与开合状态。构建过程中的挑战包括：真实环境下的数据采集需保证动作轨迹的平滑性与时序一致性，同时多视角视觉流（camera1与camera2）的同步与编码压缩需在保真与存储间取得平衡；此外，仅4个回合的演示数据对模型泛化能力构成严峻考验，如何在小样本条件下提取有效的视觉-动作映射关系成为核心难点。

常用场景

经典使用场景

在机器人学习与具身智能领域，基于示教模仿的操作技能习得长期依赖高质量的真实世界交互轨迹。该数据集聚焦于“关闭上层抽屉”这一日常灵巧操作任务，提供了由SO-100 follower机械臂在30Hz频率下采集的4条完整演示轨迹，累计涵盖2997帧多模态数据。每条轨迹同步记录了六自由度关节位置、夹爪开合状态以及两路480×640分辨率的视觉观测流，形成动作-状态-视觉的严密对应关系。研究人员可借助此数据集开展行为克隆、视觉-动作策略学习以及闭环控制算法的验证，典型流程包括从多视角图像与关节状态中提取表征，并预测连续动作序列以复现抽屉关闭动作。

解决学术问题

该数据集针对机器人操作研究中数据稀缺与可复现性不足的症结，提供了一种标准化的低维度机械臂操作基准。在学术层面，它缓解了因硬件差异、采集协议不统一而导致的策略泛化评估困难，使不同团队能够在同一任务设定下比较模仿学习、离线强化学习及视觉-语言-动作模型的性能。同时，该数据集明确标注了任务类别与机器人构型，为研究视觉表征在精细操作中的可迁移性、动作分块预测的时序建模能力以及小样本条件下的策略鲁棒性提供了实证基础，推动了可复现机器人学习基准的建设。

衍生相关工作

依托LeRobot开源框架，该数据集催生了一系列围绕低成本机械臂操作学习的研究实践。典型工作包括基于ACT、Diffusion Policy等模仿学习算法的抽屉开启与关闭策略对比，以及利用该数据开展视觉编码器预训练与动作分块Transformer的消融实验。在社区层面，该数据集常被用作LeRobot数据格式的示例案例，促进了统一数据规范与可视化工具的推广。相关衍生工作还涉及多任务操作数据集的构建、跨本体策略迁移以及仿真到现实的微调验证，为具身智能数据生态的丰富与标准化提供了可复用的基础素材。