kejia98/brush_table_franka

该数据集是一个用于机器人学研究的Franka机器人数据集，通过本地多模态记录器导出创建。数据集包含30个情节，总计11615帧，帧率为15fps，数据以Parquet格式存储。特征包括主图像和次图像（均为240x320x3的RGB图像）、机器人状态（如末端执行器位置、姿态和夹爪状态）、动作命令（如末端执行器控制指令）、时间戳、帧索引等。数据集适用于训练和评估机器人控制算法，支持多模态数据融合。This dataset is a Franka robot dataset for robotics research, created using the local multimodal recorder exporter. It contains 30 episodes with a total of 11615 frames at 15fps, stored in Parquet format. Features include primary and secondary images (both 240x320x3 RGB images), robot states (such as end-effector position, orientation, and gripper status), action commands (like end-effector control instructions), timestamps, frame indices, etc. The dataset is suitable for training and evaluating robot control algorithms, supporting multimodal data integration.

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量示范数据的采集是推动操作技能习得的关键。该数据集依托本地多模态记录导出工具构建，面向Franka机械臂执行刷子桌面操作任务。构建过程以真实机器人系统为平台，通过遥操作或编程控制方式采集30个完整回合的示范轨迹，累计11615帧，帧率为15Hz。每一帧同步记录双路视觉图像、末端执行器状态与动作指令，并将数据以分块Parquet格式存储，配套元信息文件完整描述数据结构与特征维度，确保数据可追溯且便于后续复用。

特点

该数据集以Franka机械臂操作任务为核心，呈现出多模态、高密度同步的特点。其状态空间包含末端执行器六维位姿与双指夹爪宽度，动作空间对应七维控制指令，并额外提供夹爪抓取状态与命令帧标识等辅助信息。双路240×320分辨率视觉图像为策略学习提供了丰富的空间感知素材。数据集仅含单一任务且无视频文件，结构紧凑，所有回合均纳入训练划分，适合端到端模仿学习与操作策略评估研究。

使用方法

使用该数据集时，研究者可依据元信息中的路径模板定位各回合的Parquet文件，并利用LeRobot等机器人学习框架直接加载。数据按帧组织，可通过时间戳与帧索引对齐状态、动作及图像流，构建监督学习样本。典型用法包括训练视觉-动作映射策略、评估模仿学习算法在真实机械臂任务上的表现，或进行多模态表征学习。加载时需注意状态与动作维度差异，并根据任务索引筛选有效回合，以保障训练与评估的一致性。

背景与挑战

背景概述

机器人操作技能的学习长期受限于高质量演示数据的稀缺，尤其是在涉及精细接触与柔顺控制的场景中。brush_table_franka数据集依托Franka Emika Panda七自由度机械臂，由本地多模态记录导出工具构建，于LeRobot框架下发布，包含30个回合、11615帧、15帧率的演示数据，涵盖双视角图像、末端执行器位姿、夹爪状态及动作指令。该数据集聚焦于桌面刷拭这一典型接触密集型任务，所采集的视觉-本体感觉-动作三元组为模仿学习与视觉运动策略研究提供了真实物理交互下的基准素材。其核心研究问题在于如何从有限演示中习得兼具位置跟踪与力顺应性的操作策略，对机器人学习社区在精细操作数据标准化方面具有参考价值。

当前挑战

桌面刷拭任务的挑战根植于接触动力学的高度非线性与状态估计的不确定性，机械臂需在维持稳定接触的同时自适应调节末端位姿与夹爪构型，任何微小偏差均可能导致任务失败。构建过程中，多模态记录导出工具需同步对齐双路图像、本体感觉状态与 Franka 专有指令帧，时间戳抖动与传感器采样异步问题对数据一致性构成显著威胁；30个回合的演示规模虽能支撑初步策略学习，却难以覆盖刷拭力度、表面摩擦与起始位姿的丰富变化，存在过拟合风险。此外，Franka 专有夹爪宽度与抓取信号和通用动作空间之间的映射关系增加了跨平台迁移的难度，使得该数据集在泛化性评估方面面临固有局限。

常用场景

经典使用场景

在机器人学习领域，尤其是针对Franka Emika Panda机械臂的精细操作任务中，brush_table_franka数据集提供了一个典型的模仿学习或行为克隆基准。该数据集以15Hz的频率记录了30个回合、总计11615帧的“刷桌子”任务演示，每帧包含双视角图像（主视角与辅助视角）、8维末端执行器状态（位置、姿态及夹爪开合）和7维动作指令。其经典使用场景在于训练端到端的视觉-运动策略网络，使机器人能够从原始像素输入直接映射到底层控制命令，从而完成擦拭桌面的长时程操作。

解决学术问题

该数据集直面机器人模仿学习中的若干核心学术难题：高维视觉观测与低维动作空间的跨模态对齐、多步操作中的误差累积抑制，以及有限演示样本下的策略泛化能力。通过提供同步的多视角图像、精确的末端位姿和夹爪状态，它为研究者验证时序建模、数据增强和元学习等方法提供了标准化平台。其意义在于推动了从仿真到真实场景的迁移学习研究，并为评估不同模仿学习算法在接触密集型任务中的鲁棒性设立了可复现的基准。

衍生相关工作

围绕brush_table_franka数据集，后续研究可能衍生出若干经典工作方向。其一，基于该数据集的扩散策略（Diffusion Policy）或动作分块变压器（ACT）的微调与对比实验，用以探索生成式模型在精细操作中的潜力。其二，利用其多视角特性开展视觉表征学习，如对比学习或自监督预训练，以提升策略的样本效率。其三，结合该数据集与LeRobot生态，社区可能构建多任务清洁基准，推动跨任务知识迁移与通用机器人策略的发展。