ming326/nero_candle_2

该数据集是由LeRobot创建的一个机器人学习数据集，专门用于双臂机器人（bi_nero_follower）的任务。数据集包含66个episodes，总计45952帧，涉及一个任务。数据以30fps的帧率采集，包括机器人的动作（如左右臂各7个关节位置和夹爪位置）和观察状态（关节位置），以及来自左腕、右腕和第三人称视角的视频观察（分辨率480x640，3通道）。数据集结构以parquet文件格式存储，视频文件以mp4格式存储，适用于机器人模仿学习或强化学习研究。This is a robotics learning dataset created by LeRobot, specifically tailored for tasks involving the dual-arm robot bi_nero_follower. It consists of 66 episodes with a total of 45,952 frames, covering one single task. The data was collected at a frame rate of 30 fps, and includes robot action data (e.g., 7 joint positions and gripper positions for both the left and right arms), observation states (joint positions), as well as video observations captured from the left wrist, right wrist, and a third-person perspective, with a resolution of 480×640 and 3 color channels. The dataset's structured data is stored in Parquet file format, while the video files are saved in MP4 format. This dataset is suitable for research in robotic imitation learning and reinforcement learning.

搜集汇总

数据集介绍

构建方式

该数据集依托LeRobot框架构建，采用双Nero机械臂跟随系统（bi_nero_follower）执行蜡烛相关操作任务。数据采集涵盖66个回合，累计45952帧，以30帧/秒的采样频率同步记录双臂各7个关节及夹爪的位置信息，形成16维动作与状态向量。视觉观测由左腕、右腕及第三人称三路摄像头提供，分辨率均为640×480，视频以AV1编码存储，元数据与帧级索引通过parquet文件组织，整体结构遵循v3.0数据规范。

特点

数据集的核心特征在于多模态同步与双臂协同操作。动作与观测状态维度精确对应，共16个自由度，涵盖左右臂的关节与夹爪位置。三路视觉信号从不同视角捕捉操作过程，增强了空间感知的鲁棒性。所有视频帧率与机器人控制频率一致，时间戳、帧索引及回合索引均被完整标注，便于时序建模。数据集仅包含单一任务，适合针对特定操作技能的精细研究，且数据分块存储，单文件大小控制适中，利于高效加载与处理。

使用方法

使用该数据集时，可借助LeRobot库或兼容工具直接读取parquet文件与视频流。通过解析meta/info.json中的特征定义，研究者能够提取动作、状态及多视角图像，构建模仿学习或强化学习模型。数据按训练集划分（0:66），可直接用于训练与验证。可视化工具已提供在线空间，用户可交互式查看回合回放。加载时需注意视频解码器对AV1格式的支持，并依据帧索引对齐多模态数据，以确保时间同步。

背景与挑战

背景概述

机器人操作策略学习近年来在具身智能领域备受关注，高质量示范数据的稀缺始终是制约该方向发展的关键瓶颈。nero_candle_2数据集依托LeRobot框架构建，面向双臂Nero跟随机器人平台，记录了66个回合、共计45952帧的操作示范，涵盖16维关节与夹爪状态空间及三路视觉观测。该数据集聚焦单一任务场景下的精细操作，为视觉-运动策略的端到端训练提供了标准化的数据支撑，对推动双臂协同操作研究具有积极的参考价值。

当前挑战

该数据集所应对的核心问题在于双臂高维度连续动作空间中的精细操作策略建模，单一任务的设定使其面临任务多样性不足与泛化能力受限的固有困境。构建过程中，双臂机器人的关节同步、三路视觉流与状态信号的时间对齐，以及30帧每秒高频采样下的数据一致性维护，均对采集系统与标注流程提出了严苛要求。此外，仅66个回合的示范规模在深度策略网络的训练中易引发过拟合风险，如何在该数据规模下实现稳健的策略迁移仍是亟待探索的课题。

常用场景

经典使用场景

在双臂机器人操作学习领域，该数据集凭借其66个演示回合、约4.6万帧的多模态时序数据，构成了典型的模仿学习与视觉-运动策略训练资源。每条轨迹同步记录了双臂16维关节位置、夹爪状态以及左腕、右腕和第三人称三路视频流，为端到端的感知-动作映射提供了密集监督信号。研究者常将其用于行为克隆、扩散策略或视觉-语言-动作模型的训练与评估，以检验算法在精细操作任务中的泛化能力。

解决学术问题

该数据集直面机器人学习中真实双臂协调数据匮乏的核心难题，为策略泛化与多模态表征学习提供了可复现的基准。其同步采集的视觉与本体感知数据，有效支撑了视觉-运动对齐、时序动作建模及长程任务规划等研究。通过开源标准化格式，它缓解了不同实验室数据难以比较的困境，推动了模仿学习算法在统一条件下的公平评测，对可复现机器人研究具有积极的规范意义。

衍生相关工作

基于该数据集，研究者已开展多项衍生工作，包括基于扩散策略的双臂协调控制、多视角视觉编码器预训练以及动作分块 transformer 的改进。部分工作利用其腕部与第三人称视角探索视角不变表征，另一些则聚焦于长时序任务中的动作平滑与失败恢复。这些衍生研究进一步丰富了 LeRobot 生态，并为双臂操作基准的建立提供了重要参考。