CoRL2026-CSI/SO101-PickandPlace_Ours_30epi_8to2

该数据集是一个机器人操作数据集，专门用于训练和评估机器人技能。数据集包含30个完整的情节（episodes），总计9974帧数据，覆盖1个任务。数据采集自SO101跟随者机器人（so101_follower），帧率为10 fps。数据集以Parquet格式存储，总数据文件大小为100 MB，视频文件大小为200 MB。数据特征包括：机器人关节状态（6维浮点数）、动作（6维浮点数）、两个摄像头图像（顶部和左腕，分辨率480x640，3通道RGB视频）、末端执行器位置（6维浮点数表示XYZ和RPY）、夹爪状态（1维浮点数）、技能的自然语言描述、技能验证问题、技能类型、技能进度、技能目标位置（关节和机器人坐标系）、子任务的自然语言描述、对象名称、目标位置（3维浮点数），以及时间戳、帧索引、情节索引、索引和任务索引等元数据。数据集适用于机器人学习、强化学习、计算机视觉和自然语言处理等研究领域。This dataset is a robotics manipulation dataset designed for training and evaluating robot skills. It contains 30 complete episodes, totaling 9974 frames, covering 1 task. The data was collected from an SO101 follower robot (so101_follower) at a frame rate of 10 fps. The dataset is stored in Parquet format, with a total data file size of 100 MB and video file size of 200 MB. Features include: robot joint states (6-dimensional float), actions (6-dimensional float), two camera images (top and left wrist, resolution 480x640, 3-channel RGB video), end-effector position (6-dimensional float for XYZ and RPY), gripper state (1-dimensional float), natural language descriptions of skills, skill verification questions, skill types, skill progress, skill goal positions (joint and robot coordinate systems), natural language descriptions of subtasks, object names, target positions (3-dimensional float), and metadata such as timestamp, frame index, episode index, index, and task index. The dataset is suitable for research in robotics learning, reinforcement learning, computer vision, and natural language processing.

搜集汇总

数据集介绍

构建方式

该数据集依托LeRobot框架构建，采用SO101型跟随机器人（so101_follower）作为数据采集平台，以10帧每秒的采样频率记录了30个回合的抓取放置操作。每个回合包含约332帧图像与状态数据，总帧数达9974帧，涵盖唯一的抓取放置任务。数据采集过程中，机器人关节位置、末端执行器位姿、夹爪状态以及顶部与左腕两路视频流被同步记录，同时标注了自然语言技能描述、子任务指令、目标位置和进度等多层次语义信息，最终以Parquet文件格式和MP4视频文件分块存储，形成结构化的机器人操作数据集。

使用方法

研究者可通过HuggingFace平台直接加载该数据集，利用LeRobot提供的可视化工具在线浏览数据内容。使用时可依据meta/info.json中定义的特征模式解析Parquet文件中的状态、动作与语义标注，并通过视频路径获取对应的视觉观测流。数据集适用于机器人模仿学习、视觉-语言-动作模型训练以及技能分层策略学习等任务。用户可将observation.state和observation.images作为输入，action作为预测目标，亦可结合skill.natural_language和subtask.natural_language开展语言条件策略研究，或利用skill.goal_position进行目标导向的规划与控制实验。

背景与挑战

背景概述

机器人操作技能的习得长期依赖真实环境中的示范数据，而高质量、细粒度标注的操作数据集始终稀缺。SO101-PickandPlace_Ours_30epi_8to2数据集依托LeRobot框架构建，聚焦于SO101机械臂的抓取与放置任务，融合了多视角视觉观测、关节状态、末端执行器位姿以及自然语言技能描述等多模态信息。该数据集以30条示范轨迹、近万帧的规模，为视觉-语言-动作模型在精细操作任务上的训练与评估提供了结构化支撑，其设计理念呼应了具身智能领域对可复现、可扩展数据基础设施的迫切需求，对推动机器人操作策略的泛化研究具有基础性意义。

当前挑战

该数据集所应对的核心挑战在于真实机器人抓取与放置任务中视觉感知与动作生成的耦合难题：机械臂需在连续状态空间中精确协调六个自由度的运动，同时依据自然语言指令与视觉反馈完成目标定位、抓取与放置。构建过程中的挑战亦不容忽视：示范轨迹的采集需保证动作的平滑性与任务成功率，多视角视频与关节状态的时序对齐要求严格的时间同步，技能进度、子任务目标位置等语义标注则依赖人工设计且难以大规模扩展。此外，30条轨迹的有限规模可能制约策略的泛化能力，如何在少量示范下实现鲁棒的操作技能学习，仍是该数据集面临的关键问题。

常用场景

经典使用场景

在机器人学习与具身智能研究领域，SO101-PickandPlace数据集凭借其精细标注的抓取放置任务序列，构成了模仿学习与视觉-运动策略训练的典型资源。该数据集通过LeRobot框架采集，涵盖30个完整回合，共计9974帧，以10帧每秒的频率记录了一台SO101从动机械臂在拾取与放置操作中的多维观测信息，包括顶部及左腕视角的RGB视频流、六自由度关节状态与末端执行器位姿、夹爪二值状态，以及自然语言描述的任务技能与子任务标签。研究者通常将其用于行为克隆、任务条件策略学习以及技能验证等经典场景，为机器人操作策略的端到端训练提供了结构化的多模态数据基础。

解决学术问题

针对机器人操作领域长期存在的示教数据稀缺、多模态对齐困难以及任务级语义与低层控制信号脱节等学术难题，该数据集提供了一种融合视觉、本体感知与自然语言标注的标准化解决方案。其技能层级与子任务层级的文本描述、目标关节位置及末端位姿期望值，使得研究者能够探索语言条件策略学习、技能分解与进度估计等前沿问题。通过提供统一的抓取放置任务基准，该数据集有效缓解了不同研究之间因数据格式与任务定义差异而导致的复现困难，为模仿学习算法的泛化性评估和跨模态表征学习提供了可比较的实验基础，对推动具身智能领域的可重复研究具有积极意义。

实际应用

在实际应用层面，SO101-PickandPlace数据集可服务于工业分拣、仓储物流以及服务机器人等场景中的抓取放置技能开发。借助其包含的顶部与腕部视觉观测、关节轨迹及夹爪状态，工程人员能够训练面向真实机械臂的操作策略，并利用自然语言技能描述实现人机交互式的任务指定与验证。数据集中记录的目标位置与进度信息，为构建具备任务理解与执行监控能力的机器人系统提供了监督信号，使得策略不仅能够完成拾取与放置动作，还能对任务完成度进行自我评估。此类数据支撑的算法迭代有助于降低机器人编程门槛，加速从实验室演示向柔性生产线及智能仓储等实际环境的迁移部署。

数据集最近研究

最新研究方向

在具身智能与机器人操作研究领域，抓取与放置任务长期被视为检验视觉-运动策略泛化能力的基准场景。SO101-PickandPlace_Ours_30epi_8to2数据集依托LeRobot框架构建，涵盖30个演示回合、近万帧多视角同步观测与六自由度关节状态，并创新性地融入自然语言技能描述、子任务目标位置及任务进度等结构化语义标注，为语言条件下的策略学习提供了细粒度监督信号。当前前沿研究正借助此类数据探索视觉-语言-动作模型的端到端训练，推动机器人在非结构化环境中实现语义引导的灵巧操作，对可复现机器人学习基准的构建与具身基础模型的发展具有重要支撑意义。