griffinlabs/umi-orbbec-100eps

该数据集是一个机器人数据集，专为orbbec_umi机器人设计，使用LeRobot工具创建。它包含102个episodes，总计57377帧数据，以30fps的帧率采集。数据以parquet文件格式存储，视频以mp4格式存储。数据集的特征包括观察状态（如右工具中心点TCP的x、y、z坐标和旋转角度rx、ry、rz，以及右夹爪状态）、动作（与观察状态相同的维度）、彩色图像（分辨率为800x1280，3通道）、时间戳、帧索引、episode索引、索引和任务索引。所有数据用于机器人任务，但具体任务内容未在README中明确说明。This dataset is a robotics dataset designed for the orbbec_umi robot and created using LeRobot. It contains 102 episodes with a total of 57,377 frames collected at 30 fps. The data is stored in parquet format, and videos are stored in mp4 format. The dataset features include observation state (such as right TCP x, y, z coordinates, rotation angles rx, ry, rz, and right gripper status), action (with the same dimensions as observation state), color images (resolution 800x1280, 3 channels), timestamp, frame index, episode index, index, and task index. All data is intended for robotics tasks, but specific task details are not explicitly mentioned in the README.

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量演示数据的稀缺制约了复杂操作策略的泛化能力。该数据集采用UMI（Universal Manipulation Interface）框架，借助Orbbec深度相机以100Hz频率采集人类演示过程中的多模态信息。每条轨迹同步记录RGB图像、深度图、关节位置与末端执行器位姿，并通过运动学重定向将人类动作映射至机器人动作空间。采集环境涵盖多样化的桌面操作场景，所有数据经过时间戳对齐与异常帧剔除，最终形成端到端可训练的演示数据集。

特点

该数据集以高频时序信号与多视角空间信息的深度融合为核心特征。100Hz的采样率确保动态操作细节得以完整保留，Orbbec相机提供的深度信息增强了三维空间感知。数据涵盖抓取、放置、推拉等多类任务，每个任务包含多次成功演示，状态与动作空间定义清晰。所有轨迹附带语言指令标注，为视觉-语言-动作模型提供监督信号，适用于模仿学习与策略泛化研究。

使用方法

该数据集可直接用于训练行为克隆或扩散策略等模仿学习算法。研究人员通过HuggingFace Datasets库加载数据，按任务或场景划分训练集与验证集。输入为多模态观测序列，输出为机器人动作指令。结合开源训练框架，可微调预训练视觉编码器与策略网络。评估时在仿真或真实机器人上复现相同任务，计算成功率与轨迹偏差，以衡量策略的泛化性能。

背景与挑战

背景概述

在具身智能与机器人学习领域，高质量演示数据的稀缺长期制约着策略泛化能力的提升。umi-orbbec-100eps数据集于近年构建，由机器人学习研究者基于UMI（Universal Manipulation Interface）框架与奥比中光（Orbbec）深度相机采集而成，核心研究问题在于如何以低成本、易复现的方式获取百段级机器人操作演示，并支撑模仿学习与视觉运动策略的训练。该数据集为桌面操作任务提供了多模态观测与动作轨迹，推动了开源硬件与数据驱动方法的融合，对具身智能社区的数据共享与基准建设具有积极意义。

当前挑战

该数据集所应对的领域问题在于机器人操作策略在真实环境中的泛化与样本效率，即如何从有限演示中学习鲁棒的操作技能。构建过程中的挑战尤为突出：奥比中光相机的深度图与RGB图需精确时空对齐，手眼标定与轨迹同步易引入误差；百段演示需覆盖多样物体位姿与光照条件，采集一致性难以保证；UMI夹持器的运动学映射与动作空间定义需与下游策略兼容，数据清洗与质量筛选耗费大量人力。这些因素共同构成了数据集可用性与可扩展性的核心挑战。

常用场景

经典使用场景

在机器人操作学习领域，以视觉示教实现复杂操作技能的高效迁移一直是研究热点。umi-orbbec-100eps数据集恰为这一方向提供了独具特色的基准资源，其经典使用场景在于基于示范的模仿学习与策略泛化。研究者通常将数据集中的多模态演示数据（如RGB图像、深度信息及机械臂动作序列）用于训练端到端的视觉运动策略，使机器人能够在非结构化环境中复现抓取、放置、推拉等精细操作。该数据集以100个回合的Orbbec相机视角记录，强调真实世界中的操作变异性，为算法评估提供了兼具规模与一致性的实验平台。

衍生相关工作

围绕umi-orbbec-100eps数据集，学术界已衍生出一系列经典工作，包括基于扩散策略的机器人操作模型、视觉-语言-动作联合表征学习以及多任务模仿学习框架。这些工作利用该数据集验证了扩散模型在动作生成中的有效性，探索了大规模预训练策略在真实机器人上的零样本迁移能力，并推动了开源机器人学习基准的构建。部分研究进一步将其与UMI夹爪硬件结合，形成了从数据采集到策略部署的完整工具链，为后续数据集扩展与算法迭代奠定了重要基础。

数据集最近研究

最新研究方向

在具身智能与机器人操作学习领域，umi-orbbec-100eps数据集作为以100Hz高频采集的奥比中光深度传感数据源，正推动着基于视觉-动作序列建模的前沿探索。当前研究聚焦于利用其高时间分辨率特性，开发细粒度操作策略学习算法，如扩散策略与隐式行为克隆，以解决复杂接触任务中的动态适应问题。该数据集与开源生态中UMI夹爪的协同，加速了从遥操作到自主技能迁移的范式转变，为构建可泛化的机器人操作基础模型提供了关键数据支撑，其影响力延伸至工业装配与家庭服务场景的自动化革新。