ShunAB/so101_pick_and_place_v2

该数据集是使用LeRobot创建的。

This dataset was created using LeRobot.

搜集汇总

数据集介绍

构建方式

so101_pick_and_place_v2数据集是面向机器人操作任务的高质量示范数据集，基于LeRobot框架构建，聚焦于机械臂的抓取与放置任务。数据集通过so_follower型机器人采集，共包含120个示范轨迹（episodes），总帧数达64003帧，数据存储为Parquet格式并辅以视频文件，确保高效存取。数据采集以30帧/秒的速率同步记录六维动作指令（包括肩部、肘部、腕部及夹爪位置）及对应机器人关节状态，同时配备俯视与腕部两个视角的640×480分辨率RGB视频，提供了从状态到动作的完整映射。

特点

该数据集突出特点在于其结构化设计与多模态融合：动作与观测状态均为6维浮点型向量，精准表征机械臂自由度运动；图像数据采用AV1编码压缩，在保持高清画质的同时节省存储空间。此外，数据集拆分策略简洁易懂，全部120条轨迹均作为训练集使用，并预设了1000帧的块大小，便于分块加载。包含的帧索引、任务索引等元数据字段，为精细化分析与回放提供了便利。

使用方法

用户可通过LeRobot库轻松加载该数据集，配合Hugging Face提供的可视化工具直接观察轨迹回放。使用时，需读取Parquet文件获取动作与状态序列，并关联对应视频帧以构建完整的观察-动作对。数据集适用于模仿学习与行为克隆算法的训练，研究者可直接调用其中的action与observation.state字段构建策略模型，并利用图像观测增强视觉感知能力，无需额外预处理即可快速开展实验。

背景与挑战

背景概述

在机器人操作领域，模仿学习已成为赋予机械臂复杂技能的核心范式，然而高质量、多模态的示范数据集的匮乏长期制约着算法泛化能力与物理部署效率。so101_pick_and_place_v2数据集应运而生，其创建依托于HuggingFace LeRobot开源框架，由研究者ShunAB主导，聚焦于“抓取与放置”（pick-and-place）这一基础但极具代表性的操作任务。该数据集于近年来公开，包含120个完整演示回合、逾64000帧视觉与状态序列，录制帧率高达30fps，并融合了俯视与腕部双视角视频数据，为从高维观测到低维动作的映射学习提供了标准化训练资源。凭借其面向真实机器人平台“so_follower”的精细动作标注（6自由度关节位姿与夹爪控制），该数据集成为机器人模仿学习社区验证行为克隆、扩散策略等方法的基准之一，有效推动了从仿真到真实场景的迁移研究。

当前挑战

该数据集所应对的领域挑战主要源于真实机器人操作中“示范变异性”与“泛化瓶颈”的双重困境：同一抓取任务在不同物体位姿、光照或表面材质下需呈现高度适应性，而传统数据集常缺乏对动作轨迹多样性与视觉分布偏移的系统覆盖。构建过程中面临若干实际困难，包括如何确保多视角视频（顶部与腕部）的同步采集与标定，如何在50MB状态数据与200MB视频数据间维持分辨率与压缩编码的一致性（采用AV1编码以减少存储开销），以及如何在120个有限回合内平衡动作精度的保守性与探索性，从而避免过拟合于单一操作习惯。此外，数据录制依赖物理机械臂的重复执行与人工干预，对硬件稳定性与操作演示的标准化提出了严苛要求。

常用场景

经典使用场景

在机器人操作学习领域，so101_pick_and_place_v2数据集是模仿学习与行为克隆研究的经典基准。其核心记录了一个六自由度机械臂（so_follower）执行‘抓取与放置’任务的完整轨迹，包含120条示范、约6.4万帧时序数据，并以30赫兹频率同步采集顶部与腕部两个视角的RGB视频。研究者通常利用该数据集的关节状态序列（shoulder_pan至gripper共6维）与视觉观测作为输入，以对应的动作指令作为学习目标，训练端到端的策略网络，从而让机器人能够再现精准的抓放操作。这种从演示中直接习得技能的范式，显著降低了传统机器人编程对精确运动学模型的依赖。

实际应用

在工业与物流场景中，so101_pick_and_place_v2所代表的技能学习范式正加速落地应用。例如，在自动化分拣线上，通过该数据集训练的机械臂能够自适应地抓取不同形状、材质的小型工件，并稳定放置在指定托盘，无需针对每种工件单独编写控制程序。在仓储领域，类似技术可用于精准捡取与打包电商订单中的分散商品，显著提升作业效率并降低人工成本。此外，在医疗场景中，该数据集中蕴含的精确末端执行器控制能力，可迁移至手术辅助机器人，执行诸如拾取手术器械或放置样本试管等辅助操作，为机器人从演示中习得精细操作技能提供了可靠的数据基石。

衍生相关工作

so101_pick_and_place_v2数据集的出现催生了一系列衍生研究。其结构完全兼容LeRobot框架，并遵循Apache-2.0协议开放，因此常被用作‘视觉运动变换器’和‘扩散策略’等算法的验证载体。围绕该数据，研究者开发了多种面向多视角融合的感知模块，如联合编码顶部与腕部图像的双流注意力网络。此外，该数据集也广泛用于对比‘基于状态’与‘基于视觉’策略的性能差距，并衍生出关于‘隐式动作分块’与‘时序集成’的优化方法。部分工作更将其作为跨本体迁移学习的起点，验证在so_follower上训练的策略能否零样本地迁移到形态相似的机器人平台，为构建通用机器人基础模型积累了关键实验依据。