tersoohaan/eval_pi0_3D_infe_light

该数据集是使用LeRobot平台创建的机器人学数据集，专注于机器人控制与感知任务。数据集包含15个完整的情节（episodes），总计9597帧数据，采样率为30帧/秒。数据以parquet文件格式存储，视频文件为mp4格式。数据集记录了机器人（型号为so101_follower）的6个关节（包括肩部平移、肩部升降、肘部弯曲、腕部弯曲、腕部旋转和夹爪）的位置作为动作和观测状态。同时，数据集提供了两个摄像头的观测信息：一个前置摄像头和一个顶部摄像头，分别输出480x640分辨率的RGB视频和深度图（前置摄像头包含深度信息）。此外，数据集还包含时间戳、帧索引、情节索引、任务索引等元数据。该数据集适用于机器人模仿学习、强化学习或视觉控制等研究任务。

This dataset is a robotics dataset created using the LeRobot platform, focusing on robot control and perception tasks. It contains 15 complete episodes with a total of 9597 frames at a sampling rate of 30 fps. The data is stored in parquet format, and video files are in mp4 format. The dataset records the positions of 6 robot joints (including shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper) as both actions and observation states. It also provides observations from two cameras: a front camera and a top camera, each outputting 480x640 resolution RGB videos and depth maps (the front camera includes depth information). Additionally, the dataset includes metadata such as timestamps, frame indices, episode indices, and task indices. This dataset is suitable for research tasks like imitation learning, reinforcement learning, or visual control in robotics.

搜集汇总

数据集介绍

构建方式

该数据集借助LeRobot框架构建，专注于记录机器人操作过程中的多维数据。数据采集自so101_follower机器人，包含15个完整回合，总计9597帧数据，以30帧/秒的采样频率捕捉机器人的运动轨迹。数据以Parquet格式存储于分块文件中，每个块容量为1000帧，同时前端与顶部摄像头录制640×480分辨率的AV1编码视频，深度图像则以uint16格式保存。动作与观测状态均记录6维关节空间信息，涵盖肩部、肘部、腕部及夹爪的位姿变量。

特点

数据集具备结构化与多模态融合的显著特性。其动作与观测状态共享相同的6维关节空间命名规范，便于直接进行模仿学习中的行为克隆分析。视频数据中嵌入时间戳、帧索引与回合索引，支持时序建模与因果关系推断。所有数据均以Apache-2.0许可证开放，未划分验证集或测试集，15个回合全部用于训练，适合小样本场景下的机器人策略探索。特征设计清晰统一，利于跨平台复用。

使用方法

用户可通过LeRobot库加载数据集，利用parquet文件与视频文件的路径模板（如data/chunk-{index:03d}/*.parquet）批量读取数据。使用时需将动作序列与观测状态、图像序列对齐，构建端到端的控制策略模型。推荐使用HuggingFace Datasets接口解析特征字典，其中action字段作为输出目标，observation.state与图像作为输入观测。数据集支持随机打乱或按回合索引切片，便于生成训练批次。视频解码需依赖AV1编码支持。

背景与挑战

背景概述

在机器人学习领域，模仿学习作为实现通用操作智能的核心范式，长期受限于高保真、多模态示范数据的匮乏。eval_pi0_3D_infe_light数据集由Hugging Face的LeRobot社区于近期创建，旨在为基于视觉的机械臂精确操作提供标准化评估基准。该数据集聚焦于SO-101型六自由度串联机械臂，通过双视角RGB-D摄像头（前视与顶视）同步采集30FPS的高清视觉流，并配以6维关节空间动作标签，共收录15个完整演示回合（约9597帧）。数据构建严格遵循LeRobot生态的v3.0规范，将原始视频与位姿状态封装为可复现的Parquet格式，为策略迁移学习与闭环控制算法提供了高一致性的训练测试基础。作为轻量化开源基准，其引入的Av1视频编码与标准化数据分块范式，显著降低了多模态工业数据集的分发门槛，在模仿学习、视觉运动规划及机器人基础模型评估等领域具有开创性示范价值。

当前挑战

该数据集面临的核心挑战有两方面。在领域问题层面，机器人操作需同时应对感知维度的深度变异性（如640×480视觉下的几何遮挡与光照干扰）、动作空间的连续高维性（6自由度关节同步控制）及动态环境中的瞬时决策矛盾，对视觉-运动联合策略的鲁棒性与泛化能力构成严峻考验。在数据集构建过程中，主要挑战包括：1)多模态传感器的时间戳严格对准（30FPS视频流与100Hz动作采样的亚帧级同步），2)异构数据（RGB视频、深度图与浮点状态向量）的物理存储与编解码效率平衡，以及3)仅依赖15个示范回合的稀疏覆盖下，如何确保轨迹分布能有效支撑策略对未观测状态空间的合理推演。

常用场景

经典使用场景

eval_pi0_3D_infe_light 数据集专为机器人学习中的模仿学习与行为克隆任务设计，尤其聚焦于基于视觉的精细操作场景。该数据集记录了 SO101 型机器人执行单一任务的 15 个完整回合，包含约 9600 帧的高频观测数据，融合了 6 自由度关节角度状态与多视角视觉信息。研究人员常利用其同步的时序动作序列与图像观测，训练端到端的策略网络，使机器人能够从示范中习得复杂的连续控制策略。数据集中提供的深度图进一步增强了模型对三维空间的理解能力，为在非结构化环境中实现高精度操作奠定了数据基础。

实际应用

在实际工业与家庭服务场景中，该数据集可被用于开发低成本、易部署的机器人编程方案。例如，通过在该数据上预训练的模仿学习模型，非专家用户能够利用远程操作采集少量演示，即可让机器人快速习得拾取、装配等精细任务。数据集中包含的深度图像与多视角视频信息，使得模型能更好地适应光照变化与遮挡环境，适用于仓库分拣、电子元件组装等需要三维感知的协作任务。此外，其轻量化的数据规模（约 100MB 特征数据）保证了在嵌入式系统上的高效训练与推理，加速了从算法验证到实际产线落地的进程。

衍生相关工作

基于 eval_pi0_3D_infe_light 的结构特点，学术界已衍生出多项代表性工作。其中，利用该数据集训练的扩散策略模型展示了在连续动作空间中生成平滑轨迹的能力，推动了基于去噪概率模型的机器人行为学习范式。另一类相关工作聚焦于视觉-语言联合嵌入，研究者将数据集的时序视觉特征与自然语言指令对齐，实现了通过语言描述驱动同型机器人执行对应操作。此外，数据集的分块存储方式（chunks_size=1000）启发了高效的数据流式训练框架，促进了长时序依赖性下机器人记忆机制的探索。这些工作共同拓展了轻量化机器人数据集的学术价值与应用边界。