eval_taskone-raw-act

该数据集由LeRobot机器人学习框架创建，属于机器人学领域。数据集包含40个完整任务片段（episodes），共计32,010帧数据，帧率为30fps。数据采用分块存储，总数据文件约100MB，视频文件约200MB。数据集记录了so100_wowskin型机器人的交互数据，包含多维特征：动作空间为6自由度关节位置（肩部平移、肩部提升、肘部弯曲、腕部弯曲、腕部旋转、夹爪位置）；观测状态包括相同的6维关节位置和15维wowskin传感器数据；视觉观测包含两个摄像头视角（基座摄像头和腕部摄像头）的RGB视频，分辨率均为640x480。此外，数据集提供时间戳、帧索引、片段索引等元数据。数据格式为Parquet文件配合MP4视频文件，适用于机器人模仿学习、强化学习、行为克隆等任务。

原始信息汇总

数据集概述

• 数据集名称: eval_taskone-raw-act
• 许可证: Apache-2.0
• 任务类别: 机器人学 (Robotics)
• 数据构建工具: LeRobot

数据集结构

• 机器人类型: so100_wowskin
• 总片段数 (Episodes): 43
• 总帧数 (Frames): 35,853
• 总任务数: 1
• 数据块大小 (Chunk Size): 1,000
• 数据文件大小: 约 100 MB
• 视频文件大小: 约 200 MB
• 帧率 (FPS): 30
• 数据集划分: 训练集 (train) 包含第 0 至第 42 片段 (共 43 个片段)

数据特征 (Features)

数据集包含以下特征字段：

• action (动作): 6 维浮点数组，包括肩部旋转、肩部升降、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置。
• observation.state (观测状态): 6 维浮点数组，与 action 的维度命名一致。
• observation.wowskin (触觉/皮肤传感): 15 维浮点数组。
• observation.images.base (基础摄像头图像): 视频数据，分辨率 480x640，3 通道，AV1 编码，30 FPS。
• observation.images.wrist (腕部摄像头图像): 视频数据，分辨率 480x640，3 通道，AV1 编码，30 FPS。
• timestamp (时间戳): 1 维浮点数组。
• frame_index (帧索引): 1 维 64 位整数。
• episode_index (片段索引): 1 维 64 位整数。
• index (全局索引): 1 维 64 位整数。
• task_index (任务索引): 1 维 64 位整数。

数据存储路径

• 元数据文件: meta/info.json
• 数据文件: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

引用信息

• BibTeX: 暂无提供，标记为 [More Information Needed]

搜集汇总

数据集介绍

构建方式

该数据集依托LeRobot框架构建，聚焦于机器人操作任务的原始数据采集。通过控制SO100_WowSkin型机器人执行单一任务，以30帧每秒的采样频率同步记录6维关节动作指令与状态信息，并配备15维触觉传感数据。同时利用固定基座与腕部双摄像头捕获480×640像素的AV1编码视频流，最终将43个轨迹片段、总计35853帧数据分块存储为Parquet格式文件与MP4视频，以100MB的数据文件与200MB的视频文件构成结构化存储。

特点

数据集最显著的特征在于其多模态融合设计，将6自由度关节动作、15维触觉感知与双视角视觉信息有机整合，为机器人模仿学习提供了丰富的输入空间。数据以1000帧为单位进行分块管理，便于大规模分布式处理与随机访问。所有运动学特征均采用32位浮点精度记录，而视频编码采用高效AV1格式压缩，在保持高清画质的同时降低存储开销。此外，数据集附带完备的时间戳与索引信息，支持精确的时序对齐与片段化训练。

使用方法

用户可通过HuggingFace数据集加载库直接调用，利用LeRobot提供的标准化接口解析Parquet数据文件与视频流。在模型训练场景中，可将动作序列作为监督信号，结合关节状态、触觉向量及视觉观测作为输入，构建端到端的策略网络。推荐采用滚动窗口方式从分块数据中采样连续帧序列，支持批处理加载。数据集已预划分训练集（43个完整轨迹），无需额外分割即可快速接入常用机器人学习框架，如模仿学习或行为克隆算法的训练管线。

背景与挑战

背景概述

在机器人操作领域，基于演示学习的行为克隆方法日益受到关注，然而高质量、标准化的原始数据收集与处理流程仍是一大瓶颈。eval_taskone-raw-act数据集由Hugging Face团队基于LeRobot框架构建，于近期发布，旨在为机器人抓取与操作任务提供低层次、多模态的原始动作与状态数据。该数据集聚焦于SO100机械臂在6自由度运动控制上的表现，包含43个完整演示片段，总计35853帧，并以30帧/秒的速率同步记录关节角度、触觉传感器数据以及双目视觉影像。通过将原始传感器数据与执行动作一一对齐，该数据集为研究从感知到动作的端到端映射提供了坚实基础，对推动低成本机器人平台的模仿学习算法发展具有重要参考价值。

当前挑战

该数据集所解决的领域核心挑战在于如何高效构建适用于机器人行为克隆的原始演示数据集，以克服仿真环境与现实场景之间的弥合难题。具体而言，首先面临的挑战是数据多样性与规模的限制，仅43个演示片段难以覆盖复杂任务的全部变体，容易导致策略泛化能力不足。其次，原始动作数据包含来自SO100机械臂的6维关节控制信号与15维触觉传感信息，存在噪声与高维耦合问题，需要进行精细的去噪与降维处理。此外，视觉数据的分辨率与压缩编码（AV1）精度之间的关系需谨慎权衡，以确保长期时间序列中的特征一致性。构建过程中还需应对Parquet与视频文件的分块管理、时间戳对齐以及长串行动作标签一致性的维护等工程难点，这些均对数据集的可用性提出了严峻考验。

常用场景

经典使用场景

在机器人学习领域，eval_taskone-raw-act数据集专为模仿学习与行为克隆任务而设计，尤其聚焦于单一任务场景下的机械臂操控。该数据集以so100_wowskin型机器人为载体，记录了43个完整回合、共计35853帧的精细运动轨迹，涵盖六维关节空间的动作指令与状态信息、视觉图像序列以及触觉传感数据。研究者可借助其中高保真的基座与腕部摄像头视频流，结合关节位置与力觉反馈，训练模型学习从感知到动作的端到端映射。其经典用法包括利用行为克隆或扩散策略（如Diffusion Policy）复现示教动作，评估模型在低样本条件下的泛化能力，以及验证多模态融合架构在机器人精细操作任务中的有效性。

实际应用

在实际应用中，该数据集为工业装配、精密操作及服务机器人领域注入了新的可能性。基于其记录的精细动作序列，开发者可以训练机器人完成诸如零件抓取、螺丝拧紧或柔性物体操作等复杂任务，而无需繁琐的示教重编程。数据集中的腕部视觉与触觉反馈组合，特别适用于易碎品处理或电子元件装配等对力控精度要求极高的场景。通过迁移学习，模型能够将示教技能泛化到不同初始状态或轻微变化的工作环境中，显著降低部署成本。同时，该数据也为远程操作与协作机器人提供了数据驱动的控制基础，使非专家用户得以通过少量演示教会机器人新技能，加速了智能机器人在工厂产线与家庭辅助中的落地进程。

衍生相关工作

围绕eval_taskone-raw-act数据集，衍生出了一系列具有影响力的研究工作。在算法层面，基于该数据集的模仿学习研究催生了多种高效策略，例如结合Transformer的时序扩散模型与基于能量函数的隐式行为克隆方法，这些工作显著提升了机器人对长时域精细动作的复现能力。在框架层面，LeRobot生态系统的完善推动了数据高效采集与标准化处理工具的开发，使该数据集成为评估不同机器人学习算法的共同基准。此外，受其多模态特性启发，学者们探索了视觉-触觉联合表示学习与跨任务泛化技术，相关成果被应用于更广泛的人形机器人操控与双臂协调操作场景中，形成了从数据驱动到策略部署的完整研究链条。