task3-scan-and-move-to-beaker

该数据集是使用LeRobot框架创建的机器人操作数据集，专为机器人学任务设计。它包含408个完整任务序列（episodes），共计97,238帧数据，所有数据均划分为训练集，存储采用分块格式，每块包含1000帧。数据集提供多模态观测信息：包括三个摄像头的RGB视频流（高位固定摄像头、左手腕摄像头和右手腕摄像头），分辨率均为640x480，帧率30fps；机器人本体状态观测（observation.state）和动作（action）均为16维浮点数，具体涵盖左右机械臂各6个关节的位置、左右滑台关节位置，以及底盘线速度和角速度。此外，每条数据还包含时间戳、帧索引、episode索引、任务索引等元数据。该数据集适用于机器人模仿学习、离线强化学习、行为克隆等研究，可用于训练机器人基于多视角视觉和本体状态进行决策和控制的模型，并采用Apache-2.0许可证。

This dataset is a robot manipulation dataset created using the LeRobot framework, specifically designed for robotics tasks. It contains 408 complete task sequences (episodes), totaling 97,238 frames of data, all divided into a training set, stored in a chunked format with 1000 frames per chunk. The dataset provides multimodal observation information: including RGB video streams from three cameras (a high fixed camera, left wrist camera, and right wrist camera), all with a resolution of 640x480 and a frame rate of 30fps; robot本体状态观测 (observation.state) and actions (action) are both 16-dimensional floating-point numbers, specifically covering the positions of 6 joints for each of the left and right robotic arms, left and right slide joint positions, as well as chassis linear and angular velocities. Additionally, each data entry includes metadata such as timestamps, frame indices, episode indices, and task indices. This dataset is suitable for research in robot imitation learning, offline reinforcement learning, behavior cloning, etc., and can be used to train models for robot decision-making and control based on multi-view vision and本体状态, licensed under Apache-2.0.

原始信息汇总

数据集概述

• 数据集名称：task3-scan-and-move-to-beaker
• 许可证：Apache-2.0
• 任务类别：机器人学（Robotics）
• 创建工具：LeRobot

数据集规模

• 总轮数（episodes）：601
• 总帧数（frames）：135,420
• 总任务数：1
• 帧率（FPS）：30
• 数据文件大小：100 MB
• 视频文件大小：200 MB
• 数据分块：每块1000帧

数据集划分

• 训练集：0至600号轮数（共601轮）

机器人类型

• 机器人型号：mobileai_robot

特征说明

动作（action）

• 数据类型：float32
• 维度：16
• 属性：包含左右各6个关节位置、左右各1个车架关节位置、线速度（x.vel）和角速度（theta.vel）

观察状态（observation.state）

• 数据类型：float32
• 维度：16
• 属性：与动作特征相同，包含左右关节位置、线速度和角速度

图像观察（observation.images）

• 摄像头：
  • cam_high：顶部摄像头，分辨率480x640，3通道，h264编码，30 FPS
  • cam_left_wrist：左手腕摄像头，分辨率480x640，3通道，h264编码，30 FPS
  • cam_right_wrist：右手腕摄像头，分辨率480x640，3通道，h264编码，30 FPS

其他特征

• timestamp：时间戳，float32，维度1
• frame_index：帧索引，int64，维度1
• episode_index：轮数索引，int64，维度1
• index：全局索引，int64，维度1
• task_index：任务索引，int64，维度1

数据存储结构

• 数据文件：data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件：videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 代码库版本：v3.0

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，专为机器人操控任务设计，聚焦于“扫描并移动至烧杯”这一具体操作场景。数据由一台移动式AI机器人采集，共包含601个完整演示回合，累积帧数达135420帧，动作频率为30帧/秒。数据集结构采用分块存储策略，将数据分割为若干大小为1000帧的块，并以parquet格式保存动作与状态序列，同时将高分辨率视频流以H.264编码独立存储于对应目录下，实现了高效的数据组织与管理。

使用方法

使用者可通过LeRobot库直接加载该数据集进行离线训练或在线评估。数据集已预设训练集划分（覆盖第0至600回合），无需额外拆分。加载后，可轻松访问各时间步的动作向量、位姿状态以及三个摄像头视角的同步视频帧。借助HuggingFace Spaces提供的可视化工具，用户能直观浏览演示数据，以检验采集质量或设计模仿学习算法。该数据集尤其适用于基于视觉的机器人操作策略研究，如行为克隆与逆强化学习等方法。

背景与挑战

背景概述

在机器人操作领域，模仿学习通过专家演示数据驱动策略学习，已成为实现复杂灵巧操作的关键范式。task3-scan-and-move-to-beaker数据集由gistailab团队基于HuggingFace LeRobot框架创建，旨在支持移动机械臂在实验室场景下的“扫描并移动烧杯”任务。该数据集包含601个演示片段，共计135420帧，以30帧每秒的频率记录了包括双臂16个关节位置、移动底座线速度与角速度在内的完整状态信息，以及高清和腕部多视角视觉观测。数据集遵循Apache-2.0许可协议，其结构化格式（含时间戳、帧索引、任务索引）为端到端模仿学习与多模态融合研究提供了标准化基准，对推动移动操作机器人在科研与工业场景中的自主作业能力具有重要价值。

当前挑战

该数据集所解决的领域核心挑战在于实现从视觉感知到精确操作的闭环策略学习，尤其在移动机械臂需同时协调本体运动、双机械臂协同及目标物非结构化操作的综合环境中。数据集构建过程中面临多重挑战：首先，需确保601个演示在“扫描”与“移动”不同阶段动作的一致性，避免策略因演示多样性不足而过拟合或泛化失败；其次，多视角视频（高清、左右腕）与高维关节状态（16维）的同步记录要求精密的硬件标定与降噪处理；此外，对烧杯等透明或反光物体的视觉感知易受光照变化干扰，增加了数据采集的稳定性挑战。

常用场景

经典使用场景

在机器人操作与具身智能研究领域，task3-scan-and-move-to-beaker数据集为双臂移动操作任务的模仿学习提供了丰富的训练资源。该数据集收录了601个示范片段，涵盖约13.5万帧高保真观测数据，包括来自顶部、左腕和右腕三个视角的RGB视频流，以及反映双臂16个自由度关节状态与底盘运动速度的状态信息。经典的使用方式是基于这些演示数据训练条件式行为克隆或扩散策略模型，使机器人学会在仿真或真实环境中感知烧杯位置、执行扫描动作，并精准抓取与移动目标器皿。研究者常将数据集中的动作序列与多视角图像序列对齐，构建端到端的感知-控制映射关系，从而复现复杂的双臂协同操作技能。

解决学术问题

该数据集直面了机器人学习中从简单抓取转向精细化双臂操作的核心挑战。在学术层面，它有效解决了两个关键难题：其一是多模态融合问题，即如何将高维视觉观测与低频关节状态信息在时序上耦合，以支持鲁棒的策略学习；其二是从固定示教到泛化执行的鸿沟，即模仿学习在有限示范下往往难以适应物体位置或光照条件的变化。通过提供标准化数据格式与LeRobot兼容接口，该数据集推动了离线模仿学习算法在真实机器人平台上的可复现研究，并为评估策略对视觉干扰和运动学约束的鲁棒性建立了基准。其意义在于降低了具身智能研究的数据门槛，让学界得以聚焦于核心算法创新而非繁琐的数据采集流程。

实际应用

在实际应用场景中，该数据集所蕴含的扫描与移动操作技能直接映射至工业与实验室自动化需求。例如，在化学实验或生物样本处理环节，机器人需自主识别并分拣多个烧杯中的试剂，这一过程要求精准的视觉定位、稳定的夹持姿态以及安全的路径规划。基于该数据集训练的模型可部署于质检流水线或药物筛选平台，完成重复性高且要求一致精度的移液、搬运任务。此外，数据集中包含的移动底盘速度指令使得机器人能够在上位机决策下完成跨工位的长距离运输，从而赋能仓储物流中的物料补充场景。其价值在于为商业化机器人应用提供了一套经过验证的基准操作库，加速了从实验室原型到产线部署的工程转化。

数据集最近研究

最新研究方向

在机器人操作领域，任务型数据集正迎来从单一指令执行向多模态感知与自主决策融合的范式跃迁。作为基于LeRobot框架构建的高质量演示数据集，‘task3-scan-and-move-to-beaker’聚焦于移动操控机器人在实验室场景下的‘扫描并移动烧杯’这一复合任务，通过600余条轨迹、逾13万帧记录，融合了底盘运动与双臂协同的16维动作空间，以及高、左、右腕三路高清视觉馈入。当前前沿研究正借助此类细粒度数据驱动模仿学习与离线强化学习，探索机器人在非结构化环境中对目标物体的搜寻、抓取与转运能力，其意义在于弥合仿真与现实的鸿沟，为通用机器人智能体的泛化操作能力提供基准训练资源。