遇见数据集

KS325/close-upper-drawer-r2-occ-train

收藏
Hugging Face2026-05-26 更新2026-05-31 收录
官方服务:

资源简介:

该数据集是一个机器人学习数据集,专注于关闭上层抽屉任务,使用LeRobot平台创建。数据集包含14个episodes,总计10257帧,帧率为30fps。机器人类型为so_follower。数据特征包括动作(6个浮点数值,对应肩部、肘部、腕部和夹持器的位置)、状态观测(与动作相同的6个浮点数值)、两个摄像头图像观测(camera1和camera2,分辨率为480x640,3通道彩色视频),以及时间戳、帧索引、episode索引等元数据。数据集以parquet格式存储,视频以mp4格式存储,适用于机器人控制、模仿学习或强化学习任务。

许可证:Apache-2.0 任务类别: - 机器人学(Robotics) 标签: - LeRobot(LeRobot) 配置项: - 配置名称:default 数据文件:data/*/*.parquet 本数据集基于[LeRobot(LeRobot)](https://github.com/huggingface/lerobot)构建。 可点击下方链接可视化本数据集: <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=KS325/close-upper-drawer-r2-occ-train"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## 数据集说明 - **主页**:[信息待补充] - **论文**:[信息待补充] - **许可证**:Apache-2.0 ## 数据集结构 [meta/info.json] 包含以下元信息: json { "codebase_version": "v3.0", "robot_type": "so_follower", "total_episodes": 14, "total_frames": 10257, "total_tasks": 1, "chunks_size": 1000, "data_files_size_in_mb": 100, "video_files_size_in_mb": 200, "fps": 30, "splits": { "train": "0:14" }, "data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "features": { "action": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.state": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.images.camera1": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "observation.images.camera2": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "timestamp": { "dtype": "float32", "shape": [ 1 ], "names": null }, "frame_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "episode_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "task_index": { "dtype": "int64", "shape": [ 1 ], "names": null } } } ## 参考文献 **BibTeX格式:** bibtex [信息待补充]

提供机构:
KS325
搜集汇总
数据集介绍
KS325/close-upper-drawer-r2-occ-train 数据集图片
构建方式
在机器人学习领域,高质量演示数据集的构建往往依赖于标准化的采集与封装流程。该数据集依托LeRobot框架完成构建,通过遥操作或预设策略控制so_follower型机械臂执行关闭上层抽屉的任务,同步记录六维关节位置、夹爪状态以及两路分辨率为480×640的视觉观测流。全部数据划分为14个回合,累计10257帧,以30帧每秒的采样率保存为Parquet与AV1编码视频文件,元信息集中于meta/info.json中,形成可复现的模块化数据结构。
特点
该数据集聚焦于单一精细操作任务,即关闭上层抽屉,具有明确的机器人操作语义。其核心特征在于多模态同步性:动作向量与观测状态均为六自由度关节位置,两路摄像头提供了互补的视觉视角,有助于学习空间遮挡下的操作策略。数据以回合为单元组织,每回合包含连续的时间步,帧率为30 fps,适合训练时序依赖的模仿学习模型。数据集采用Apache-2.0许可,整体规模适中,便于快速迭代与验证算法。
使用方法
使用该数据集时,研究者可借助LeRobot提供的可视化工具在线浏览回放,亦可通过HuggingFace数据集接口直接加载Parquet与视频文件。训练阶段,通常将observation.images.camera1与camera2作为视觉输入,observation.state与action作为状态与动作标签,构建行为克隆或扩散策略模型。数据路径遵循chunk与file的索引规则,支持按需读取与分块处理。评估时,可在仿真或真实so_follower平台上复现关闭抽屉任务,比较策略的完成率与轨迹精度。
背景与挑战
背景概述
伴随具身智能与机器人操作研究的纵深推进,高质量、标准化且可复现的真实机器人操作数据集成为驱动策略学习与泛化能力评估的关键基础设施。close-upper-drawer-r2-occ-train数据集依托LeRobot框架构建,聚焦于机械臂关闭上层抽屉这一典型接触密集型操作任务。数据集采用so_follower机器人平台,以30帧/秒的采样频率记录14个回合共10257帧的多视角视觉观测与关节状态及动作序列,涵盖肩部旋转、肘部屈伸、腕部俯仰与旋转以及夹爪开合等六个自由度的连续控制信号。该数据集为视觉-动作映射学习、遮挡条件下的操作策略建模以及真实场景中的精细运动控制研究提供了标准化的训练资源,对推动机器人操作策略的可复现研究具有基础性意义。
当前挑战
该数据集所面向的核心挑战源于接触密集型操作任务中固有的复杂性与不确定性。在领域问题层面,关闭上层抽屉要求机械臂在视觉遮挡条件下精确感知抽屉边缘位置并施加恰当力度,涉及视觉-触觉信息融合、接触动力学建模以及长时序动作规划等多重难题,对策略的鲁棒性与泛化能力构成显著考验。在构建过程中,数据采集面临多视角相机同步标定、关节状态与视觉观测的时间对齐、动作空间连续性保障以及不同回合间操作一致性维持等技术挑战,同时需确保数据集在LeRobot标准化框架下的格式兼容性与可复用性,这些因素共同构成了数据集构建与后续应用的主要障碍。
常用场景
经典使用场景
在机器人学习领域,基于视觉的精细操作技能习得是核心挑战之一。该数据集围绕“关闭上层抽屉”这一典型任务,采集了14个回合、逾万帧的遥操作示教数据,每条样本涵盖六自由度机械臂的关节位置与动作指令,并同步记录双路摄像头视角的视觉观测。其最经典的使用场景在于模仿学习算法的训练与评估,研究者可借助行为克隆或多模态策略网络,从视觉-动作序列中学习抽屉关闭的闭环控制策略,进而推动桌面级精细操作策略的泛化研究。
衍生相关工作
依托LeRobot开源生态,该数据集可与ACT、Diffusion Policy等模仿学习基线结合,衍生出一系列面向精细操作的工作。研究者常以此类单任务小样本数据检验动作分块Transformer的时序建模能力,或评估扩散策略在视觉-动作分布建模中的表现。此外,该数据格式与HuggingFace数据集中心的无缝集成,促进了标准化数据加载、可视化与跨数据集对比研究,为后续多任务联合训练及具身智能基础模型的发展提供了可复用的数据基础。
数据集最近研究
最新研究方向
在具身智能与机器人操作学习领域,close-upper-drawer-r2-occ-train数据集作为基于LeRobot框架构建的精细化操作训练资源,正推动以视觉-动作联合建模为核心的技能习得研究。该数据集聚焦于闭合上层抽屉这一典型接触密集型任务,依托so_follower机械臂采集了14个回合、逾万帧的多视角同步视频与本体状态轨迹,为模仿学习与离线强化学习提供了高质量的示范数据。当前前沿研究致力于利用此类数据集探究遮挡条件下的操作策略泛化能力,结合视觉表征学习与动作分块预测,提升机器人在非结构化家居环境中的闭环操作鲁棒性。其开源特性亦促进了社区在标准化训练协议与跨任务迁移方面的协同探索,对加速家庭服务机器人从实验室走向实际部署具有显著的支撑意义。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务