seriintan/rollout_eval_data01_20260526_150707

这是一个由LeRobot创建的机器人学数据集，专注于机器人动作和观测数据。数据集包含机械臂的关节位置动作（如肩部平移、肩部升降、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置），以及对应的观测状态（包括相同的关节位置）和前端摄像头图像（分辨率为480x640，3通道，视频格式）。数据集结构包括时间戳、帧索引、episode索引、任务索引等元数据，总帧数为4855，总任务数为1，总episode数为1，帧率为30fps，使用so_follower机器人类型。数据以parquet文件格式存储，视频以mp4格式存储，适用于机器人控制和强化学习任务。许可证：Apache-2.0 任务类别： - 机器人学 标签： - LeRobot（LeRobot） 配置项： - 配置名称：default 数据文件路径：data/*/*.parquet 本数据集基于LeRobot（LeRobot）框架构建，项目仓库地址为https://github.com/huggingface/lerobot。 <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=seriintan/rollout_eval_data01_20260526_150707"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## 数据集说明 - **主页：** [待补充更多信息] - **论文：** [待补充更多信息] - **许可证：** Apache-2.0 ## 数据集结构 元数据文件`meta/info.json`内容如下： json { "代码库版本": "v3.0", "帧率": 30, "数据特征": { "动作 (action)": { "数据类型": "float32", "字段名称": [ "肩关节摆位位置", "肩关节抬升位置", "肘关节屈曲位置", "腕关节屈曲位置", "腕关节旋转位置", "夹爪位置" ], "形状": [6] }, "观测状态 (observation.state)": { "数据类型": "float32", "字段名称": [ "肩关节摆位位置", "肩关节抬升位置", "肘关节屈曲位置", "腕关节屈曲位置", "腕关节旋转位置", "夹爪位置" ], "形状": [6] }, "前视图像观测 (observation.images.front)": { "数据类型": "视频", "形状": [480, 640, 3], "维度说明": ["高度", "宽度", "通道数"], "详细信息": { "视频高度": 480, "视频宽度": 640, "视频编码格式": "av1", "视频像素格式": "yuv420p", "是否为深度图": false, "视频帧率": 30, "视频通道数": 3, "是否包含音频": false } }, "时间戳 (timestamp)": { "数据类型": "float32", "形状": [1], "字段名称": null }, "帧索引 (frame_index)": { "数据类型": "int64", "形状": [1], "字段名称": null }, "回合索引 (episode_index)": { "数据类型": "int64", "形状": [1], "字段名称": null }, "样本索引 (index)": { "数据类型": "int64", "形状": [1], "字段名称": null }, "任务索引 (task_index)": { "数据类型": "int64", "形状": [1], "字段名称": null } }, "总回合数": 1, "总帧数": 4855, "总任务数": 1, "数据分块大小": 1000, "数据文件总大小（单位：MB）": 100, "视频文件总大小（单位：MB）": 200, "数据文件路径模板": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "视频文件路径模板": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "机器人类型": "so_follower", "数据集划分": { "训练集": "0:1" } } ## 引用 **BibTeX格式引用：** bibtex [待补充更多信息]

搜集汇总

数据集介绍

构建方式

在具身智能与机器人学习领域，高质量的真实世界操作数据是驱动策略泛化与评估的重要基石。该数据集依托LeRobot开源框架进行构建，数据采集自so_follower型机械臂系统，对肩部旋转、肩部升降、肘部弯曲、腕部弯曲、腕部旋转及夹爪位置共六个关节维度进行同步记录。采集过程中以30帧每秒的频率捕获前视相机视频流，并配对相应的动作指令与状态观测，最终以Parquet列式存储格式按分块方式组织为结构化数据文件，便于后续高效读取与训练。

特点

该数据集呈现出鲜明的机器人模仿学习与评估场景特征。整体包含单一任务下的单个回合，总计4855帧连续时序样本，视频流以AV1编码封装，分辨率为480×640，色彩通道为三通道，却无音频信息。观测与动作空间维度完全对齐，均为六自由度关节位置，保证了状态—动作映射的严密性。数据集同时提供时间戳、帧索引、回合索引、全局索引及任务索引等元信息，为时序建模与回合分割提供细粒度支撑。

使用方法

该数据集可直接借助LeRobot工具链进行加载与可视化，用户能够通过HuggingFace Spaces中的可视化界面在线浏览轨迹与视频内容，亦可在本地依据meta/info.json中定义的路径模板定位Parquet数据文件与MP4视频文件。训练时，可将observation.state与observation.images.front作为策略网络的输入，action作为监督目标，配合episode_index与frame_index完成回合感知的时序采样，从而服务于机器人操作策略的训练、回放与定量评估。

背景与挑战

背景概述

伴随具身智能与机器人学习范式的纵深演进，基于真实机器人交互轨迹的模仿学习与策略评估成为突破仿真到现实鸿沟的关键路径。该数据集由LeRobot框架构建，依托so_follower机械臂采集，时间戳标注为2026年5月，核心研究问题在于为机器人操控策略提供高保真、多模态同步的rollout评估基准。其单回合4855帧、30帧率、涵盖六维关节位姿与前置视觉视频流的结构设计，呼应了当下视觉-动作联合建模的趋势，为运动策略的离线评估与泛化性验证提供了可复用的数据底座，对推动开源机器人学习社区的标准评估体系建设具有基础性意义。

当前挑战

该数据集所应对的领域挑战集中于机器人操控策略在真实物理环境中的鲁棒评估难题，即如何以统一数据协议量化策略在连续动作空间与高维视觉观测下的执行表现。构建层面的挑战体现于多源异构信号的精确时间对齐，需在30帧率下同步六自由度关节位置、夹爪状态与640×480分辨率视频流，同时维持单文件100MB与视频200MB的存储约束以兼顾效率与完整性。此外，单回合数据虽保证了轨迹连贯性，却对任务多样性覆盖与跨场景泛化能力评估构成限制，如何在有限样本下确立可靠评估范式仍是悬而未决的议题。

常用场景

经典使用场景

在机器人学习与具身智能领域，基于示教数据的模仿学习一直是实现精细操作的核心范式。该数据集以LeRobot标准格式构建，涵盖单条完整回合的4855帧多模态时序记录，同步采集了六自由度关节位置、夹爪状态以及前视RGB视频流。其经典使用场景在于为视觉-动作联合策略提供端到端的监督信号，使机械臂能够在连续时间步中建立从高维感知输入到低层控制指令的映射关系，常被用于训练ACT、Diffusion Policy等主流模仿学习架构，并借助时间戳与帧索引实现动作序列的精确对齐与回放验证。

解决学术问题

长期以来，机器人操作研究面临真实示教数据稀缺、格式异构与复现困难等瓶颈问题。该数据集遵循统一的LeRobot数据规范，以Parquet列式存储与AV1视频编码封装多模态信息，有效缓解了数据孤岛现象。在学术层面，它为策略泛化性评估、动作分块建模以及视觉表征学习提供了标准化的实验基底，使得不同算法能够在相同数据条件下进行公平比较。其单任务单回合的紧凑结构亦有助于剖析过拟合与分布偏移等基础问题，对推动可复现的机器人学习研究具有积极意义。

衍生相关工作

依托LeRobot开源生态，该数据集可与ACT、Diffusion Policy、VQ-BeT等策略实现无缝衔接，催生了一系列围绕模仿学习鲁棒性与多模态融合的后续研究。部分工作以此为基础探索视频自监督预训练在机器人控制中的迁移效果，亦有研究利用其时间戳与帧索引结构开展动作时序分割与关键帧抽取。在数据集可视化与回放工具链方面，HuggingFace Spaces的在线可视化功能进一步降低了使用门槛，促进了社区内围绕数据质量评估与格式转换的工具开发，形成了从数据采集到策略评估的完整衍生工作脉络。