Hackathon_Team01_v3

该数据集使用LeRobot库和SO-101机械臂在两天黑客松活动中收集的远程操作演示的最后一批次。数据集包含了一个领导者-跟随者配置中跟随者机械臂抓取两个彩色立方体并将它们放置在匹配的彩色十字中的视频。数据集包括顶部相机和前部/低角度相机捕捉的视频，用于提供不同的视角。尽管有背景控制，但房间照明的变化被故意保留在数据中，这可能对鲁棒性研究有价值。数据集适用于基于视觉的模仿学习、多视角感知、光照变化下的鲁棒性评估以及状态-动作对齐研究。

This dataset is the final batch of teleoperation demonstrations collected over a two-day hackathon using the LeRobot library and SO-101 robotic arm. It contains videos showing the follower robotic arm in a leader-follower configuration grasping two colored cubes and placing them onto matching colored crosses. The dataset includes videos captured by a top-down camera and a front/low-angle camera to provide distinct perspectives. Although background controls were implemented, variations in room lighting were intentionally retained in the data, which holds potential value for robustness research. This dataset is applicable to vision-based imitation learning, multi-view perception, robustness evaluation under varying lighting conditions, and state-action alignment research.

原始信息汇总

Hackathon_Team01_v3 数据集概述

数据集基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人技术
• 相关标签: LeRobot
• 配置名称: default
• 数据文件: data//.parquet

数据集描述

该数据集包含在为期两天的黑客马拉松期间使用LeRobot库和SO-101机器人臂在领导者-跟随者配置下收集的最后一批远程操作演示。每个片段展示跟随臂依次拾取两个彩色立方体，并将每个立方体放置到2×2网格中匹配颜色的十字上。

视觉系统配置

• 顶部摄像头: 安装在工作空间上方，提供机器人臂、立方体和网格的清晰2D视图
• 前部/低位摄像头: 略高于地面，面向机器人臂和网格，提供更好的z轴线索和机器人臂自感知

数据收集详情

远程操作设置

• 领导者-跟随者配置: 人类远程操作领导者臂，跟随者SO-101复制运动以生成演示
• 工作空间: 桌面2×2网格，每个单元格包含彩色十字
• 背景控制: 使用纸板面板，保留了一天中变化的照明条件

片段协议

1. 移动到预抓取位置，视觉定位目标立方体
2. 抓取第一个立方体，运输并放置到正确颜色的十字上
3. 重复第二个立方体操作
4. 返回中立位置

已知限制

• 光照漂移: 一天中光照变化显著，存在分布偏移
• 摄像头运动: 摄像头固定但可能存在轻微移动
• 遮挡: 特定位置下夹爪和立方体的自遮挡
• 无深度信息: 仅包含RGB数据

技术规格

数据集结构

• 总片段数: 50
• 总帧数: 31,189
• 总任务数: 1
• 块大小: 1000
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB
• 帧率: 30 FPS
• 分割: train (0:50)

特征结构

动作特征

• 数据类型: float32
• 形状: [6]
• 名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos

观测特征

• 状态观测: 与动作特征相同的关节位置信息
• 左侧图像: 480×640×3 RGB视频，AV1编码
• 前部图像: 480×640×3 RGB视频，AV1编码

索引特征

• 时间戳、帧索引、片段索引、任务索引等元数据

应用场景

• 模仿学习: 从远程操作演示进行行为克隆
• 多视角感知: 融合顶部和前部视角进行深度推断
• 光照鲁棒性: 评估策略对光照变化的敏感性
• 状态-动作对齐: 利用同步的本体感觉和图像数据

附加信息

• 主页: https://www.irt-saintexupery.com/deel/
• 代码库版本: v3.0
• 机器人类型: so101_follower

搜集汇总

数据集介绍

构建方式

在机器人操作研究领域，Hackathon_Team01_v3数据集通过两日黑客松活动精心构建。采用领导者-跟随者配置的SO-101机械臂系统，由人类操作者操控领导者臂，跟随臂同步复现动作轨迹生成示范数据。工作场景设置为桌面二维网格环境，配备彩色立方体与对应色标十字区域，通过双RGB摄像头（顶部全景视角与前置低角度视角）同步采集视觉信息，完整记录机械臂抓取放置操作序列。数据采集过程中保留自然光照波动，为研究光照鲁棒性提供真实场景支撑。

使用方法

针对视觉模仿学习研究，该数据集支持端到端行为克隆与目标条件策略训练。研究者可基于双视角视觉输入构建多模态感知模型，利用同步的关节状态与动作序列学习操作策略。数据以分块Parquet格式存储，配合MP4视频文件，支持帧级索引访问。通过LeRobot库可便捷加载训练集，适用于光照鲁棒性验证、多视图融合推理等研究场景。每个数据样本包含时间戳、帧索引与任务标识，便于构建序列预测模型或进行跨模态对齐分析。

背景与挑战

背景概述

Hackathon_Team01_v3数据集诞生于机器人技术快速发展的时代，由HuggingFace的LeRobot团队在两日黑客松活动中构建完成。该数据集聚焦于桌面物体操作任务，通过主从式SO-101机械臂系统采集了50段示教数据，核心研究目标在于推进视觉模仿学习与多视角感知融合技术。其双摄像头配置方案——顶部全局视角与前置深度视角的协同观测，为机器人精细操作策略的演化提供了关键数据支撑，对强化学习与感知控制领域具有重要参考价值。

当前挑战

该数据集致力于解决视觉引导的机器人抓取与放置任务中存在的三大挑战：多视角空间对齐的复杂性、光照条件动态变化导致的模型泛化困难，以及机械臂自遮挡引发的视觉感知盲区。在构建过程中，数据采集面临自然光照漂移对颜色恒常性的干扰，固定摄像机因微小位移带来的标定误差，以及缺乏深度传感器导致的立体信息缺失等问题，这些因素共同构成了算法鲁棒性研究的核心难点。

常用场景

经典使用场景

在机器人视觉模仿学习领域，该数据集通过双视角RGB视频序列与同步机械臂动作记录，为行为克隆算法提供了标准化的训练素材。其精心设计的立方体分拣任务要求智能体从多视角观察中理解空间关系，并通过端到端学习掌握抓取放置的连续动作策略。这种基于真实物理交互的演示数据，有效弥合了仿真环境与真实场景之间的语义鸿沟。

解决学术问题

该数据集主要针对视觉运动策略泛化能力不足的学术难题，通过保留自然光照变化特性，为研究领域自适应问题提供了珍贵样本。其双视角配置解决了单目视觉深度感知模糊的经典困境，而同步记录的本体感知数据则促进了状态-动作对齐机制的研究。这些特性使其成为探索机器人感知-控制耦合机制的理想实验平台。

实际应用

在工业自动化场景中，该数据集支撑的算法可应用于物流分拣、电子元件装配等精细操作任务。其多视角融合技术为缺乏深度传感器的低成本机器人提供了可行的三维感知方案。通过模拟真实环境中的光照波动，训练出的策略能更好地适应工厂车间复杂的光照条件，显著提升部署鲁棒性。

数据集最近研究

最新研究方向

在机器人视觉模仿学习领域，Hackathon_Team01_v3数据集正推动多视角感知与光照鲁棒性的前沿探索。该数据集通过双RGB摄像头记录桌面操作任务，为无深度传感器的三维空间推理提供了关键数据支撑。当前研究聚焦于融合俯视与前视视角的视觉特征，以提升机械臂在复杂环境中的动作泛化能力。同时，数据中刻意保留的光照漂移现象成为评估策略稳定性的重要基准，促使研究者开发自适应光照变化的增强学习方法。这些进展对实现工业场景下可靠的表层物体操控具有深远意义，为感知控制一体化系统奠定了实证基础。