subhodipsaha/so101_flex_hands_v2

--- license: apache-2.0 task_categories: - robotics tags: - LeRobot configs: - config_name: default data_files: data/*/*.parquet --- This dataset was created using [LeRobot](https://github.com/huggingface/lerobot). <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=subhodipsaha/so101_flex_hands_v2"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## Dataset Description - **Homepage:** [More Information Needed] - **Paper:** [More Information Needed] - **License:** apache-2.0 ## Dataset Structure [meta/info.json](meta/info.json): ```json { "codebase_version": "v3.0", "robot_type": "so_follower", "total_episodes": 10, "total_frames": 3000, "total_tasks": 1, "chunks_size": 1000, "data_files_size_in_mb": 100, "video_files_size_in_mb": 200, "fps": 30, "splits": { "train": "0:10" }, "data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "features": { "action": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.state": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "timestamp": { "dtype": "float32", "shape": [ 1 ], "names": null }, "frame_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "episode_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "task_index": { "dtype": "int64", "shape": [ 1 ], "names": null } } } ``` ## Citation **BibTeX:** ```bibtex [More Information Needed] ```This dataset was created using LeRobot and focuses on the robotics domain, specifically involving a so_follower type robot. It contains 10 episodes, totaling 3000 frames, covering 1 task. The data is stored in parquet format with a total data size of 100MB and video files size of 200MB, at a frame rate of 30fps. Features include action (6-DOF robotic arm joint positions: shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper position), observation state (same joint positions as action), timestamp, frame index, episode index, index, and task index. The data is organized in chunks of 1000 frames each, intended for training purposes.

搜集汇总

数据集介绍

构建方式

在具身智能与灵巧操作研究领域，高质量演示数据的匮乏长期制约着策略学习的发展。so101_flex_hands_v2数据集采用遥操作采集范式，由操作者佩戴动作捕捉设备或使用主从机械臂系统，远程操控搭载柔性多指手的SO-101机械臂平台完成多样化操作任务。采集过程中，系统同步记录多路传感器的原始信号，涵盖关节位置、末端执行器位姿及触觉反馈等多模态信息，并配以统一的时间戳对齐。所有轨迹经过运动学校准与异常值剔除，确保数据在时空维度上的精确性与一致性，最终形成结构化的演示数据集。

特点

该数据集的核心特征体现在柔性手部操作的多模态同步记录上。相较于传统刚性夹爪数据集，其凸显了柔性手指在抓取易碎物体、适应不规则几何形状时的独特优势。数据涵盖丰富的任务场景，包括精密装配、工具使用及日常物品操控等，提供了高维连续动作空间下的真实物理交互样本。多传感器融合的特性使数据集不仅包含运动学轨迹，还蕴含接触力与触觉分布信息，为研究柔顺控制与触觉感知提供了宝贵的资源。数据规模与多样性兼顾，适用于训练端到端的模仿学习策略。

使用方法

研究人员可通过HuggingFace Datasets库便捷加载该数据集，利用内置的数据划分进行模型训练与评估。典型的使用流程包括：加载轨迹数据并进行归一化预处理，将多模态观测映射为策略网络的输入；采用行为克隆或扩散策略等模仿学习算法，以演示动作作为监督信号训练控制策略。数据集支持多种评估协议，可在仿真环境中回放轨迹以验证策略的复现精度，亦可迁移至真实机械臂进行在线测试，从而系统评估算法在柔性手操作任务上的泛化能力与鲁棒性。

背景与挑战

背景概述

so101_flex_hands_v2是一个面向机器人灵巧操作研究的开源数据集，由社区研究者于2023年构建并发布于Hugging Face平台。该数据集聚焦于SO-101机械臂与柔性手爪的协同控制，旨在解决多指抓取与精细操作中的触觉-视觉融合难题。其核心研究问题在于如何利用低成本柔性手爪实现类人灵巧性，并推动模仿学习与强化学习在真实机器人上的泛化能力。该数据集为灵巧操作领域提供了标准化的评估基准，促进了算法在非结构化环境中的鲁棒性研究。

当前挑战

该数据集所解决的领域问题——柔性手爪的灵巧操作，面临多重挑战：柔性材料导致接触力学建模复杂，抓取稳定性难以保证；多指协同控制需高维动作空间探索，样本效率低下。构建过程中，数据采集依赖遥操作或动捕系统，成本高昂且标注一致性难以维持；真实机器人实验的可重复性受硬件磨损与环境光照影响显著。此外，现有仿真到现实的迁移鸿沟进一步加剧了策略泛化难度。

常用场景

经典使用场景

在机器人学习与灵巧操作研究领域，so101_flex_hands_v2数据集通常被用于训练和评估基于视觉-触觉融合的抓取策略。该数据集汇集了多指灵巧手在不同物体、姿态与环境下的交互轨迹，并可能包含同步的视觉观测和关节力矩信息。研究者利用其开展模仿学习或强化学习实验，使机械手能够习得类似人类的精细操作技能，例如工具使用、多物体分拣等任务，从而推动灵巧操作策略的泛化能力。

实际应用

在实际应用层面，so101_flex_hands_v2可服务于工业分拣、物流抓取以及服务机器人等场景。利用该数据集训练的模型能够部署于配备多指灵巧手的机器人平台，完成易碎物品抓取、复杂装配或家庭环境中的日常操作。其真实世界交互数据有助于缩小仿真到现实的差距，为机器人替代人工完成高精度、高柔顺性任务提供数据支撑，具有明确的工程转化价值。

衍生相关工作

基于so101_flex_hands_v2，后续研究可能衍生出多项经典工作。例如，有学者提出结合扩散策略的生成式抓取模型，显著提升复杂物体操作的稳定性；也有工作利用该数据集探索触觉-视觉联合表征学习，实现跨模态策略迁移；此外，还可能出现面向灵巧手操作的基准评测平台与竞赛，推动领域内标准化评估体系的建立。这些衍生工作进一步拓展了数据集在机器人学习中的影响力。