libero_lerobot_v21

该数据集结合了四个独立的Libero数据集：Libero-Spatial、Libero-Object、Libero-Goal和Libero-10。所有数据集均来自openvla/modified_libero_rlds，并转换为LeRobot格式。数据集包含1693个训练集，总计273465帧，涵盖40个任务，使用panda机器人，帧率为10fps。数据特征包括图像、手腕图像、状态、动作等多种传感器数据。

This dataset combines four independent Libero datasets: Libero-Spatial, Libero-Object, Libero-Goal, and Libero-10. All datasets are sourced from openvla/modified_libero_rlds and converted to the LeRobot format. The dataset includes 1,693 training subsets, with a total of 273,465 frames covering 40 tasks, utilizing the Panda robot at a frame rate of 10 fps. The data features diverse sensor data modalities including images, wrist images, robot states, and actions.

原始信息汇总

数据集概述

基本信息

• 数据集名称: libero_lerobot_v21
• 许可证: CC-BY 4.0
• 任务类别: 机器人学
• 标签: LeRobot, libero, panda, rlds

数据来源

该数据集结合了四个独立的Libero数据集：Libero-Spatial、Libero-Object、Libero-Goal和Libero-10。所有数据集均取自https://huggingface.co/datasets/openvla/modified_libero_rlds，并转换为LeRobot格式。

数据集结构

• 总任务数: 40
• 总情节数: 1693
• 总帧数: 273465
• 视频总数: 0
• 分块数: 2
• 分块大小: 1000
• 帧率: 10 fps
• 分割: 训练集（0:1693）

数据特征

• 图像:
  • 数据类型: 图像
  • 形状: [256, 256, 3]
  • 维度名称: 高度、宽度、通道
• 腕部图像:
  • 数据类型: 图像
  • 形状: [256, 256, 3]
  • 维度名称: 高度、宽度、通道
• 状态:
  • 数据类型: float32
  • 形状: [8]
  • 维度名称: 状态
• 动作:
  • 数据类型: float32
  • 形状: [7]
  • 维度名称: 动作
• 时间戳:
  • 数据类型: float32
  • 形状: [1]
• 帧索引:
  • 数据类型: int64
  • 形状: [1]
• 情节索引:
  • 数据类型: int64
  • 形状: [1]
• 索引:
  • 数据类型: int64
  • 形状: [1]
• 任务索引:
  • 数据类型: int64
  • 形状: [1]

相关链接

• 主页: https://libero-project.github.io
• 论文: https://arxiv.org/abs/2306.03310

引用信息

bibtex @article{liu2023libero, title={LIBERO: Benchmarking Knowledge Transfer for Lifelong Robot Learning}, author={Liu, Bo and Zhu, Yifeng and Gao, Chongkai and Feng, Yihao and Liu, Qiang and Zhu, Yuke and Stone, Peter}, journal={arXiv preprint arXiv:2306.03310}, year={2023} }

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量的数据集是推动技能泛化与迁移研究的关键基石。libero_lerobot_v21数据集基于LeRobot框架构建，整合了源自OpenVLA项目修改版的四个独立Libero子数据集——Libero-Spatial、Libero-Object、Libero-Goal与Libero-10。原始数据经过格式转换与统一编码，最终以Parquet文件形式存储，共计包含1693个演示片段、273465帧图像以及40个不同任务，全面覆盖了空间推理、物体操作、目标导向及复合任务场景。

特点

该数据集的核心特点在于其多模态与结构化设计。每个演示片段同步采集了分辨率为256×256的顶视图像与腕部图像，配合8维机器人状态向量及7维动作指令，为模仿学习与强化学习提供了丰富的感知-运动关联信息。数据以10帧每秒的采样率记录，并附有时间戳、帧索引与任务标签，便于时序建模与任务条件化训练。此外，数据集采用分块存储策略（每块1000个片段），有效提升了大规模数据加载与分布式处理的效率。

使用方法

使用该数据集时，研究者可借助LeRobot库直接加载Parquet格式的轨迹数据，通过预定义的图像、状态与动作特征字段快速构建训练管道。数据集已预设训练集划分（索引0至1692），无需额外拆分。用户可根据任务索引筛选特定子集，或利用图像与状态序列进行行为克隆、离线强化学习等算法开发。建议结合LeRobot的DataLoader与数据增强工具，以充分利用其多模态特性并提升模型泛化能力。

背景与挑战

背景概述

在机器人学习领域，终身学习与知识迁移能力的评估一直是核心研究问题。libero_lerobot_v21数据集由博·刘（Bo Liu）、朱一峰（Yifeng Zhu）等研究人员于2023年创建，源自LIBERO项目，旨在为机器人的长期操作任务提供标准化的基准测试平台。该数据集整合了Libero-Spatial、Libero-Object、Libero-Goal和Libero-10四个子集，共计1693个演示片段，涵盖40种不同的操作任务，由Franka Emika Panda机器人执行。数据集通过LeRobot格式统一处理，包含256×256像素的视觉图像、8维状态向量及7维动作空间等丰富模态，为研究机器人在多任务场景下的知识迁移与泛化能力提供了关键资源。其发布对推动机器人终身学习算法的发展具有深远影响，成为相关领域的重要参考基准。

当前挑战

该数据集面临的核心挑战在于解决机器人终身学习中的知识迁移与灾难性遗忘问题。具体而言，40种任务覆盖了空间关系、物体操作、目标导向等多样化场景，要求算法在连续学习新任务时保持对旧任务的性能，这对模型的内存效率与泛化能力提出了极高要求。在数据集构建过程中，挑战体现在多任务演示的一致性维护上：不同子集的任务定义、动作执行策略及环境动态存在差异，需通过标准化格式（如LeRobot）进行精确对齐，同时确保视觉与状态数据的同步精度。此外，高保真数据采集（10帧/秒的采样率、256×256图像分辨率）与大规模演示（273465帧）的存储管理，也构成了技术实现上的显著障碍。

常用场景

经典使用场景

libero_lerobot_v21数据集在机器人学习领域内，最为经典的应用场景是作为多任务模仿学习与终身机器人学习的基准测试平台。该数据集整合了Libero-Spatial、Libero-Object、Libero-Goal与Libero-10四个子集，涵盖了40种不同的操作任务，如空间推理、物体操纵与目标达成等。研究者通常利用该数据集训练基于视觉的机器人策略，以评估模型在多样化任务上的泛化能力与迁移学习性能。数据集以LeRobot格式标准化，提供了高频率的关节状态、动作序列以及多视角图像，为端到端模仿学习提供了丰富的训练样本。

解决学术问题

该数据集的核心学术价值在于解决了终身机器人学习中知识迁移与灾难性遗忘的评估难题。在传统研究中，机器人模型往往针对单一任务设计，难以适应动态环境下的任务序列。libero_lerobot_v21通过提供结构化的多任务场景与标准化的评估协议，使研究者能够系统性地衡量模型在连续学习过程中的知识保留与迁移效率。它揭示了当前模型在处理空间语义变化、物体属性差异及目标层级关系时的局限性，推动了跨任务表示学习与元学习方法的创新，为构建更具鲁棒性的通用机器人智能体奠定了实验基础。

衍生相关工作

该数据集衍生了一系列具有影响力的研究工作，特别是在视觉-语言-动作联合建模与策略泛化领域。基于libero_lerobot_v21，研究者提出了如OpenVLA等大规模视觉-语言-动作模型，通过预训练与微调范式显著提升了零样本任务执行能力。此外，该数据集还被用于评估基于扩散策略的动作生成方法以及分层强化学习框架，推动了模仿学习在复杂长程任务中的性能边界。在知识迁移方面，相关研究利用该数据集验证了任务无关特征提取与增量式网络扩展策略的有效性，为构建持续进化的机器人学习系统提供了理论支撑与实证依据。