遇见数据集

lilkm/pack_easter_eggs_into_basket

收藏
Hugging Face2026-05-26 更新2026-05-31 收录
官方服务:

资源简介:

--- license: apache-2.0 task_categories: - robotics tags: - LeRobot configs: - config_name: default data_files: data/*/*.parquet --- This dataset was created using [LeRobot](https://github.com/huggingface/lerobot). <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=lilkm/pack_easter_eggs_into_basket"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## Dataset Description - **Homepage:** [More Information Needed] - **Paper:** [More Information Needed] - **License:** apache-2.0 ## Dataset Structure [meta/info.json](meta/info.json): ```json { "codebase_version": "v3.0", "fps": 20, "features": { "action": { "dtype": "float32", "shape": [ 14 ], "fps": 20 }, "observation.state": { "dtype": "float32", "shape": [ 14 ], "fps": 20 }, "observation.velocity": { "dtype": "float32", "shape": [ 14 ], "fps": 20 }, "observation.effort": { "dtype": "float32", "shape": [ 14 ], "fps": 20 }, "observation.eef_6d_pose": { "dtype": "float32", "shape": [ 12 ], "fps": 20 }, "observation.images.front": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.fps": 20.0, "video.height": 480, "video.width": 640, "video.channels": 3, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "has_audio": false } }, "observation.images.left_wrist": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.fps": 20.0, "video.height": 480, "video.width": 640, "video.channels": 3, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "has_audio": false } }, "observation.images.right_wrist": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.fps": 20.0, "video.height": 480, "video.width": 640, "video.channels": 3, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "has_audio": false } }, "timestamp": { "dtype": "float32", "shape": [ 1 ], "names": null, "fps": 20 }, "frame_index": { "dtype": "int64", "shape": [ 1 ], "names": null, "fps": 20 }, "episode_index": { "dtype": "int64", "shape": [ 1 ], "names": null, "fps": 20 }, "index": { "dtype": "int64", "shape": [ 1 ], "names": null, "fps": 20 }, "task_index": { "dtype": "int64", "shape": [ 1 ], "names": null, "fps": 20 } }, "total_episodes": 80, "total_frames": 54874, "total_tasks": 1, "chunks_size": 1000, "data_files_size_in_mb": 100, "video_files_size_in_mb": 200, "data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "robot_type": "arx5", "splits": { "train": "0:80" } } ``` ## Citation **BibTeX:** ```bibtex [More Information Needed] ```

This dataset was created using LeRobot and is a robotics dataset designed for training and evaluating robot tasks, specifically involving the operation of packing Easter eggs into a basket. It contains a total of 80 episodes, with 54874 frames at a frame rate of 20 fps. The features include action (14-dimensional float array), observation.state (14-dimensional float array), observation.velocity (14-dimensional float array), observation.effort (14-dimensional float array), observation.eef_6d_pose (12-dimensional float array), and video observations from front, left wrist, and right wrist cameras (resolution 480x640, 3 channels, AV1 codec). Additionally, metadata such as timestamp, frame index, episode index, index, and task index are included. The dataset is licensed under Apache 2.0, uses the arx5 robot type, and is split into training set (0:80). Data is stored in parquet format, with a total data file size of 100 MB and video file size of 200 MB.

提供机构:
lilkm
搜集汇总
数据集介绍
lilkm/pack_easter_eggs_into_basket 数据集图片
构建方式
该数据集依托LeRobot框架构建,采用arx5机器人平台执行将复活节彩蛋装入篮子的任务。构建过程以20帧/秒的频率同步采集多模态数据,涵盖80个完整演示回合,总计54874帧。数据通过机器人本体感受器与三路视觉传感器(前视、左腕、右腕)获取,记录动作、状态、速度、力矩及末端执行器六维位姿等信息,并以Parquet格式存储结构化数据,视频流则编码为AV1格式的MP4文件,形成时间对齐的机器人操作数据集。
使用方法
使用者可借助HuggingFace平台提供的可视化工具直接浏览数据集内容,或通过LeRobot库加载Parquet文件与视频流进行模型训练。数据按训练集划分,共80个回合,可依据info.json中的路径模板读取分块数据。典型应用包括模仿学习、多模态表征学习以及机器人操作策略的离线训练。使用时需注意动作与观测的维度对齐,并可根据任务索引筛选特定任务样本。
背景与挑战
背景概述
在机器人学习领域,高质量的真实世界操作数据集对于训练通用策略至关重要。pack_easter_eggs_into_basket数据集由lilkm创建,基于LeRobot框架构建,旨在支持机器人精细操作任务的研究。该数据集聚焦于将复活节彩蛋装入篮子的任务,包含80个演示回合,总计54874帧,以20帧每秒的频率记录了arx5机器人的多模态数据,包括关节状态、速度、力矩、末端执行器6D位姿以及前视和双腕部视角的视觉信息。尽管论文和主页信息尚未提供,但其结构化设计为机器人模仿学习和强化学习提供了宝贵的资源,推动了复杂操作技能的发展。
当前挑战
该数据集致力于解决机器人领域中的精细抓取与放置问题,要求机器人在复杂环境中准确识别并操作不同形态的复活节彩蛋。所面临的核心挑战包括:1)在非结构化场景中实现高精度的物体检测与姿态估计,以应对彩蛋形状、颜色和位置的多样性;2)多模态数据融合与实时控制,确保视觉、状态和动作信息在20Hz下的同步与协调;3)构建过程中,需克服数据采集的物理限制,如机器人运动学约束、传感器噪声以及演示的一致性,从而生成高质量的80个成功回合,为策略学习提供可靠基础。
常用场景
经典使用场景
在机器人学习领域,双臂精细操作任务长期依赖真实环境下的示范数据来训练策略模型。pack_easter_eggs_into_basket数据集提供了80条高质量演示轨迹,每条轨迹包含20Hz同步采集的14维关节状态、速度、力矩以及末端执行器6D位姿,并辅以前视、左腕、右腕三路视觉观测,构成了典型的视觉-动作联合建模场景。研究者通常利用该数据集训练模仿学习策略,使arx5双臂机器人能够在视觉引导下完成抓取彩蛋并精准放入篮筐的连贯动作,成为评估连续控制与视觉伺服能力的基准任务。
解决学术问题
该数据集着力缓解机器人操作研究中示范数据稀缺与多模态同步困难两大瓶颈。其细粒度的本体感知与多视角视频流为模仿学习、视觉-语言-动作模型提供了统一的训练资源,使得策略泛化性、数据效率以及长时程任务规划等核心问题得以在可控条件下系统探究。同时,20Hz的高频采样与完整的状态-动作对为动态建模与接触-rich操作分析奠定了数据基础,推动了从仿真到真实场景的迁移研究,对提升机器人自主操作能力具有实质意义。
实际应用
在工业与物流自动化场景中,该数据集所捕捉的抓取-放置技能可直接迁移至分拣、包装等流水线作业。其双臂协同与视觉反馈机制为仓储机器人处理易碎或形状不规则物品提供了可复用的控制策略。此外,该数据集亦可用于服务机器人领域,例如在家庭环境中整理散落物件,或于农业场景中完成果实采摘与收集,展现出跨领域的实用潜力。
数据集最近研究
最新研究方向
在具身智能与机器人操作学习领域,基于真实世界演示数据的高效策略学习正成为前沿热点。pack_easter_eggs_into_basket数据集依托LeRobot框架构建,提供了80个回合、54874帧的ARX5双臂机器人操作演示,涵盖前视与双腕视角的视觉观测及关节状态、末端执行器6D位姿等低维信号,为视觉-运动策略的端到端学习提供了丰富的多模态监督。当前研究聚焦于利用此类高保真演示数据探索模仿学习与离线强化学习的融合范式,特别是在精细操作任务中如何提升策略的泛化性与鲁棒性。该数据集的出现恰逢具身智能基础模型快速迭代的时期,其标准化的数据格式与开源属性有助于推动社区在机器人操作技能迁移、多任务学习及仿真到现实迁移等方向上的协同创新,对加速通用机器人操作系统的构建具有积极的支撑意义。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务