alimerido/two-cam-record-test

该数据集使用LeRobot创建，是一个机器人控制数据集，专门用于so_follower机器人类型。数据集包含9个episodes，总计8233帧，涉及1个任务，数据以parquet文件格式存储，视频文件以mp4格式存储，帧率为30fps。数据集的特征包括：动作数据（6个关节位置：shoulder_pan.pos、shoulder_lift.pos、elbow_flex.pos、wrist_flex.pos、wrist_roll.pos、gripper.pos）、观察状态（与动作相同的6个关节位置）、两个摄像头图像观察（front和side，分辨率均为480x640，3通道彩色视频），以及时间戳、帧索引、episode索引、索引和任务索引等元数据。数据集适用于机器人学习和控制任务，支持训练和验证。This dataset was created using LeRobot and is a robotics control dataset specifically for the so_follower robot type. It contains 9 episodes, totaling 8233 frames, with 1 task. The data is stored in parquet files, and video files are in mp4 format with a frame rate of 30fps. The dataset features include: action data (6 joint positions: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos), observation state (same 6 joint positions), two camera image observations (front and side, both with 480x640 resolution, 3-channel color video), and metadata such as timestamp, frame index, episode index, index, and task index. The dataset is suitable for robotics learning and control tasks, supporting training and validation.

搜集汇总

数据集介绍

构建方式

two-cam-record-test数据集基于LeRobot框架构建，专为机器人操作任务设计。该数据集通过记录机器人执行任务的完整过程，收集了51个演示片段，共计33980帧数据，以30帧每秒的稳定速率采集。数据以Parquet格式存储状态与动作信息，同时将视觉观测压缩为H.264编码的MP4视频文件，分别从前置与侧面两个摄像头视角捕捉高为480、宽为640像素的RGB图像，确保了多模态数据的丰富性与实用性。

特点

该数据集的一大特色在于其双摄像头视觉系统，同时提供前置与侧面视角的观测数据，为机器人模仿学习提供了多角度视觉信息，有助于提升模型对空间和任务的理解能力。此外，数据涵盖了6维动作空间（包括肩部、肘部、腕部及夹爪位置），并配有对应的状态信息，结构清晰。全部数据采用Apache-2.0许可证发布，便于研究社区自由使用与扩展。

使用方法

用户可通过LeRobot库便捷地加载与使用该数据集。推荐利用Hugging Face提供的可视化工具直接预览数据内容，以快速了解样本结构。在训练机器人策略时，可以将动作、状态与双摄像头图像作为输入，结合提供的帧索引、时间戳等元数据进行序列化处理。数据已按训练集划分，所有片段均可用于模型训练，其Parquet与视频文件的组织方式支持高效批量读取与流式处理。

背景与挑战

背景概述

随着机器人学习领域对低成本、高效率数据采集方案的需求日益增长，LeRobot框架应运而生，致力于简化机器人数据集的构建与利用。在此背景下，由研究团队Alimerido于近期创建的two-cam-record-test数据集，依托LeRobot生态，专注于基于视觉的机械臂操控任务。该数据集包含51个演示片段，总计33980帧图像，通过前视与侧视双摄像头以30帧/秒的帧率记录so_follower型机械臂的6维关节动作与状态。作为测试性资源，它为研究多视角视觉与动作映射关系提供了标准化数据基础，尤其在模仿学习和行为克隆领域展现出潜在价值，推动了机器人数据集从专业实验室向社区化、可复现方向的转化。

当前挑战

该数据集所解决的领域挑战集中于低成本机器人操控学习中的多模态数据融合难题，即如何从高维视觉输入中提取可泛化的动作表征，以应对复杂环境下的精准控制需求。构建过程中，团队面临多重技术障碍：首先，双摄像头数据同步与无畸变采集对硬件协同提出了严格要求；其次，将30帧/秒的连续视频流与6维关节坐标数据高效对齐，需设计鲁棒的时序匹配算法；再者，仅包含单一任务类型的51个演示片段，规模有限，难以覆盖操作变异性，可能限制模型对未见过场景的泛化能力。此外，Apache-2.0许可的开放策略虽促进协作，但数据集缺乏统一标注基准，也为跨研究对比引入不确定性。

常用场景

经典使用场景

在机器人学习与模仿学习的研究领域中，two-cam-record-test数据集为多视角视觉-运动控制策略的探索提供了关键资源。该数据集依托LeRobot框架采集，包含51个完整演示回合，总计近34000帧高保真数据，特征维度涵盖六自由度关节动作与状态信息，并同步记录前后及侧面双摄像头视角的高清视频流。经典使用场景集中于利用双视角视觉观测训练机械臂的端到端模仿学习模型，例如通过行为克隆或逆强化学习方法，使智能体能够从多模态感知输入中精准复现‘夹爪’这一精细操作任务，为跨视角特征融合与因果推理研究奠定基础。

衍生相关工作

基于two-cam-record-test数据集的特征结构与采集范式，衍生出一系列经典的研究工作。例如，研究者将其双视视频与动作轨迹应用于基于扩散模型的策略学习，验证了多模态生成式方法在机械臂精细操作任务中的可行性；亦有工作将其作为基准，探索利用自监督对比学习从跨视角图像中提取状态表征，以减少对精确关节角度值的依赖。此外，该数据集的标准化parquet与视频分块存储格式，启发了后续大规模机器人操作数据集构建中的高效存储与并行加载方案，成为LeRobot社区数据规范的重要参考范例。

数据集最近研究

最新研究方向

该数据集聚焦于机器人模仿学习领域，利用双摄像头（前视与侧视）同步采集的高频视觉与关节状态数据，为跨视角的动作表征学习开辟了新颖的探究路径。随着LeRobot等开源框架的兴起，研究热点正从单一视角的技能复现转向多模态融合的鲁棒策略泛化，该数据集凭借其精细的时序对齐和标准化存储格式，为验证基于视觉语言模型的零样本操控能力或构建端到端的动态运动基元提供了珍贵材料。在具身智能蓬勃发展的当下，这批涵盖单一任务、共51个完整轨迹的记录，不仅推动了低成本数据采集范式的普及，更对降低真实机器人系统部署门槛、加速通用操作策略的跨场景迁移具有深远的实践意义。