lance-format/pusht-lerobot-lancedb

这是一个基于Lance格式的lerobot/pusht数据集副本，采用lerobot-lancedb格式。数据集以每行一帧的方式组织，每帧的JPEG图像字节以内联方式存储，压缩质量为95。数据集包含约25,650帧，总大小约为60 MB，适用于机器人学任务，特别是推操作（PushT）场景。数据列包括episode_index、frame_index、index、timestamp、task_index、observation.state、action和observation.image（JPEG字节）。该格式支持通过字节范围从HuggingFace Hub流式加载，无需完整下载数据集。布局包括元数据文件夹和单个Lance表，适用于使用LeRobotLanceDataset库加载和处理。

This is a copy of the lerobot/pusht dataset in Lance format, adopting the lerobot-lancedb format. The dataset is organized with one frame per row, where the JPEG image bytes of each frame are stored inline at a compression quality of 95. It contains approximately 25,650 frames with a total size of roughly 60 MB, and is tailored for robotics tasks, particularly PushT manipulation scenarios. The dataset columns include episode_index, frame_index, index, timestamp, task_index, observation.state, action, and observation.image (JPEG bytes). This format supports streaming loading from the Hugging Face Hub via byte ranges, without the need to fully download the entire dataset. Its layout consists of a metadata folder and a single Lance table, and is compatible with loading and processing using the LeRobotLanceDataset library.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架下的pusht原始数据，通过lerobot-lancedb工具进行格式转换与重构。采用单表结构，每一行对应一帧数据，并将帧图像编码为JPEG字节流内联存储，质量参数设为95，在保证视觉保真度的同时压缩存储体积。数据集的元数据以独立侧车文件形式存放，包含info.json、episodes.jsonl、stats.json与tasks.jsonl，便于快速索引与统计。整体构建流程通过一条命令行指令即可完成，无需手动处理多表关联或文件组织，体现了高效且标准化的数据管道设计。

特点

pusht-lerobot-lancedb数据集的核心特点在于采用Lance列式存储格式，支持按帧的字节范围从HuggingFace Hub进行流式读取，无需下载完整数据集即可访问任意帧。数据集的规模约为65,000帧，存储体积仅60 MB，相较于原始数据大幅缩减。每帧数据包含episode_index、frame_index、observation.state、action及observation.image等关键字段，并保留了时间戳与任务索引信息。此外，该数据集还提供了配套的无损视频块布局版本，为不同精度需求的应用场景提供了灵活选择。

使用方法

使用者可通过lerobot_lancedb库中的LeRobotLanceDataset类加载该数据集，只需传入数据集在Hub上的repo_id参数即可自动完成初始化与流式读取。加载后的数据集对象支持索引访问，返回的observation.image张量形状为torch.Size([3, 96, 96])，便于直接输入神经网络模型。由于Lance格式支持按需读取，用户无需先下载整个数据集，节省了本地存储空间与传输时间。该方法尤其适用于机器人模仿学习、扩散策略等需要高效迭代大量轨迹数据的训练流程。

背景与挑战

背景概述

该数据集名为pusht-lerobot-lancedb，是对原始lerobot/pusht数据集的Lance格式副本，由LanceDB社区维护，发布于2024年。核心研究问题聚焦于机器人操控任务中的视觉-动作策略学习，特别是扩散策略（Diffusion Policy）在Pusht环境（一个经典的机器人推动任务模拟器）中的应用。该数据集以每帧为单位存储，将JPEG压缩后的图像字节嵌入单表结构中，显著提升了从HuggingFace Hub流式加载的效率，无需完整下载即可进行训练和评估。其在机器人模仿学习与强化学习领域具有重要影响力，为大规模、高吞吐量的机器人数据集处理提供了新的技术范式。

当前挑战

该数据集面临的挑战包括：1) 领域问题方面，Pusht任务要求模型从高维视觉输入中精确预测末端执行器的速度矢量，这对策略网络的时序建模能力和对图像噪声的鲁棒性提出了严苛要求；2) 构建过程中，将原始的多表结构（frames/episodes/videos）统一为单表Lance格式时，需权衡JPEG有损压缩导致的信息损失与存储/传输效率的平衡，同时在元数据（如episodes.jsonl）与主表间保持严格的一致性，避免因异步写入或格式转换导致的索引错位。

常用场景

经典使用场景

在机器人学习与模仿学习的前沿研究中，pusht-lerobot-lancedb数据集以其高效的结构化存储方式，成为训练基于视觉的机器人操作策略的经典基准。该数据集聚焦于推块（Pushing）任务，每一帧都包含高保真度的观测图像和对应的机器人动作指令，为扩散策略（Diffusion Policy）等先进模仿学习模型提供了理想的数据来源。研究者通过逐帧加载观测序列与动作标签，能够轻松训练机器人从视觉输入映射到精确控制信号的策略网络，从而在模拟环境中验证与算法设计。

解决学术问题

该数据集有效解决了机器人操作任务中数据存储效率低下与读取速度受限的学术难题。传统数据集常因全量下载导致高延迟与冗余存储，而pusht-lerobot-lancedb通过Lance格式实现基于字节范围的流式读取，使得大规模帧级数据无需完全落盘即可高效访问。这一特性显著加速了研究迭代，促成了对模仿学习、行为克隆以及长期依赖建模等学术问题的深入探索。它的出现推动了高效数据集设计理念的普及，并提升了机器人策略泛化性研究的可复现性与可用性。

衍生相关工作

围绕pusht-lerobot-lancedb数据集，衍生出了一系列具有深远影响的经典工作。其中最具代表性的当属扩散策略（Diffusion Policy）框架，该工作首次将扩散模型引入机器人模仿学习，大幅提升了动作生成的多模态性与平滑度。此外，该数据集还被用于验证高效数据索引查询技术，催生了lerobot-lancedb库及其配套的转换工具，为社区提供了一个可扩展的机器人数据流水线范例。这些衍生工作共同推动了机器人学习领域朝着更高效率、更大规模的方向持续演进。