language_table_train_107000_108000_augmented

language_table_train_107000_108000_augmented是一个机器人增强数据集，包含了google_robot、images、jaco、kinova3、kuka_iiwa、panda、sawyer和ur5e等多种机器人的增强图像、位置和关节角度等信息。数据集共1000个剧集，总帧数为16195帧，分为训练集。数据集特征包括增强图像、末端执行器位置、误差、关节角度以及自然语言指令。language_table_train_107000_108000_augmented is a robotic augmented dataset that contains augmented images, positions, joint angles and other information of various robots including google_robot, images, jaco, kinova3, kuka_iiwa, panda, sawyer and ur5e. The dataset comprises 1000 episodes with a total of 16195 frames, and is partitioned into the training set. The dataset features include augmented images, end-effector positions, errors, joint angles as well as natural language instructions.

原始信息汇总

language_table_train_107000_108000_augmented 数据集概述

基本信息

• 数据集名称: language_table_train_107000_108000_augmented
• 许可证: CC-BY-4.0
• 代码库版本: v3.0
• 任务类别: 机器人学
• 标签: 机器人学, lerobot, oxe-auge, dataset

数据集规模

• 总片段数: 1,000
• 总帧数: 16,195
• 帧率: 10 FPS
• 数据分割:
  • 训练集: 1,000个片段

机器人类型

支持以下8种机器人平台：

• google_robot
• images
• jaco
• kinova3
• kuka_iiwa
• panda
• sawyer
• ur5e

数据特征

图像特征

所有机器人图像特征均为360×640×3分辨率的视频数据：

• observation.images.google_robot: Google机器人增强图像
• observation.images.image: 原始数据集中的源机器人图像
• observation.images.jaco: Jaco机器人增强图像
• observation.images.kinova3: Kinova3机器人增强图像
• observation.images.kuka_iiwa: Kuka IIWA机器人增强图像
• observation.images.panda: Panda机器人增强图像
• observation.images.sawyer: Sawyer机器人增强图像
• observation.images.ur5e: UR5e机器人增强图像

机器人状态特征

每个机器人类型包含以下状态信息：

• base_orientation: 绕Z轴逆时针旋转角度
• base_position: 基座平移位置
• ee_error: 增强机器人与原始机器人末端执行器误差
• ee_pose: 末端执行器位姿
• joints: 关节位置

元数据特征

• episode_index: 片段索引
• frame_index: 帧索引
• index: 全局帧索引
• natural_language_instruction: 自然语言指令
• task_index: 任务ID
• timestamp: 时间戳

数据布局

• 数据路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

相关资源

• 项目网站: https://oxe-auge.github.io/
• 代码仓库: https://github.com/GuanhuaJi/oxe-auge
• 相关论文: https://arxiv.org/abs/2210.06407

引用要求

使用本数据集时需同时引用OXE-AugE数据集和上游原始数据集。

搜集汇总

数据集介绍

构建方式

在机器人学习领域，数据增强技术对于提升模型泛化能力至关重要。language_table_train_107000_108000_augmented数据集基于OXE-AugE框架构建，通过对原始交互语言任务数据进行多机器人形态的仿真增强。该数据集采用v3.0代码库版本，将原始机器人轨迹通过运动学映射转换至八种不同构型机器人，包括谷歌机器人、雅各机械臂等主流平台。数据以10帧/秒的采样率存储为Parquet格式，包含1000个任务片段共计16195帧，每个帧均包含原始观测与增强后的多机器人状态数据。

特点

该数据集最显著的特征在于其跨形态机器人数据的全面性。除了保留原始机器人的图像观测和末端执行器位姿，还同步提供了七种增强机器人的视觉数据与运动状态。所有图像数据统一为360×640×3分辨率，确保了视觉输入的一致性。数据集精确记录了各增强机器人的关节角度、基座标变换以及末端执行器误差，为研究机器人运动映射提供了完整参数。自然语言指令以512维向量编码，与多模态机器人状态数据形成精准对齐。

使用方法

研究人员可通过HuggingFace平台直接加载该数据集进行跨形态策略学习。数据采用标准Parquet文件组织，按chunk-file二级索引结构存储，支持流式读取处理。典型应用场景包括视觉语言动作模型的训练验证，通过观察多机器人执行相同语言指令的表现，研究策略迁移的泛化能力。使用者可分别调用原始图像与增强机器人图像数据，结合末端位姿误差分析不同形态机器人的运动特性。该数据集与OXE-AugE代码库完全兼容，为机器人学习社区提供了标准化的基准测试环境。

背景与挑战

背景概述

在机器人学习领域，跨本体策略迁移已成为提升模型泛化能力的关键研究方向。language_table_train_107000_108000_augmented数据集基于OXE-AugE项目构建，其核心目标在于通过多机器人轨迹数据增强技术，解决自然语言指令到动作映射的通用性问题。该数据集整合了Google Robot、Panda等八种主流机器人平台，通过空间变换与轨迹适配算法，实现了跨本体动作策略的标准化表征。其技术框架源于2022年《Interactive Language》研究的交互式语言控制范式，并通过2025年OXE-AugE项目的增强扩展，为机器人模仿学习提供了大规模多模态训练资源。

当前挑战

跨本体机器人控制需克服不同机械结构的运动学差异，该数据集通过末端执行器误差补偿与基座标系变换，解决了轨迹迁移中的动态可达性约束问题。数据构建过程中面临多源传感器时序对齐、视角遮挡消除、以及保持原始任务语义一致性等工程挑战。此外，自然语言指令与多机器人动作空间的语义对齐，要求增强后的轨迹既保留原始任务意图，又适应目标机器人的物理特性，这对数据清洗与验证流程提出了极高要求。

常用场景

经典使用场景

在机器人学习领域，该数据集通过多机器人视觉语言指令数据，为跨 embodiment 策略学习提供关键训练资源。其经典应用体现在利用自然语言指令与增强的机器人图像序列，训练端到端的视觉语言动作模型，使机器人能够理解人类指令并执行复杂操作任务。

解决学术问题

该数据集有效解决了机器人学习中跨平台泛化能力不足的学术难题。通过提供八种不同机器人的增强轨迹数据，显著降低了模型对特定机器人形态的依赖，为研究跨 embodiment 策略迁移、多模态表示对齐等核心问题提供了标准化实验基准。

衍生相关工作

基于该数据集衍生的经典研究包括跨 embodiment 策略蒸馏框架、多机器人视觉语言预训练模型等。这些工作通过利用数据集中丰富的增强轨迹，开创了知识跨机器人平台迁移的新范式，推动了具身智能领域的算法创新。