遇见数据集

rainbowrobotics/icra_0526_rel

收藏
Hugging Face2026-05-27 更新2026-05-31 收录
官方服务:

资源简介:

该数据集是一个机器人学领域的数据集,使用LeRobot创建。它包含977个总集数、233003个总帧数和1个总任务,数据以parquet格式存储,总数据文件大小为100MB,视频文件大小为200MB。数据集特征包括动作(16维浮点数组,表示左右手臂和夹爪的状态)、观测状态(16维浮点数组,与动作类似)、观测图像(来自前、右、左三个视角的视频,分辨率为480x640或640x480,帧率为15fps,使用AV1编解码器),以及时间戳、帧索引、集索引、索引和任务索引等元数据。机器人类型为rby1,数据集仅包含训练分割(0:977)。

许可证:Apache-2.0 任务类别: - 机器人学 标签: - LeRobot 配置项: - 配置名称:default 数据文件:data/*/*.parquet 本数据集由[LeRobot](https://github.com/huggingface/lerobot)构建。 <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=rainbowrobotics/icra_0526_rel_recomputed_stats"><img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"><img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"></a> ## 数据集描述 - **主页**:[更多信息待补充] - **论文**:[更多信息待补充] - **许可证**:Apache-2.0 ## 数据集结构 `meta/info.json`: json { "代码库版本": "v3.0", "帧率": 15, "特征": { "动作": { "数据类型": "float32", "名称列表": [ "右臂关节0", "右臂关节1", "右臂关节2", "右臂关节3", "右臂关节4", "右臂关节5", "右臂关节6", "左臂关节0", "左臂关节1", "左臂关节2", "左臂关节3", "左臂关节4", "左臂关节5", "左臂关节6", "右夹爪关节0", "左夹爪关节0" ], "形状": [ 16 ] }, "观测.状态": { "数据类型": "float32", "名称列表": [ "右臂关节0", "右臂关节1", "右臂关节2", "右臂关节3", "右臂关节4", "右臂关节5", "右臂关节6", "左臂关节0", "左臂关节1", "左臂关节2", "左臂关节3", "左臂关节4", "左臂关节5", "左臂关节6", "右夹爪关节0", "左夹爪关节0" ], "形状": [ 16 ] }, "观测.图像.前视摄像头": { "数据类型": "video", "形状": [ 480, 640, 3 ], "名称列表": [ "高度", "宽度", "通道数" ], "详细信息": { "视频.高度": 480, "视频.宽度": 640, "视频.编码格式": "av1", "视频.像素格式": "yuv420p", "视频.非深度映射图像": false, "视频.帧率": 15, "视频.通道数": 3, "视频.无音频": false, "视频.g": null, "视频.crf": null, "视频.预设参数": null, "视频.快速解码": null, "视频.后端": "pyav", "视频.额外选项": {} } }, "观测.图像.右侧摄像头": { "数据类型": "video", "形状": [ 640, 480, 3 ], "名称列表": [ "高度", "宽度", "通道数" ], "详细信息": { "视频.高度": 640, "视频.宽度": 480, "视频.编码格式": "av1", "视频.像素格式": "yuv420p", "视频.非深度映射图像": false, "视频.帧率": 15, "视频.通道数": 3, "视频.无音频": false, "视频.g": null, "视频.crf": null, "视频.预设参数": null, "视频.快速解码": null, "视频.后端": "pyav", "视频.额外选项": {} } }, "观测.图像.左侧摄像头": { "数据类型": "video", "形状": [ 640, 480, 3 ], "名称列表": [ "高度", "宽度", "通道数" ], "详细信息": { "视频.高度": 640, "视频.宽度": 480, "视频.编码格式": "av1", "视频.像素格式": "yuv420p", "视频.非深度映射图像": false, "视频.帧率": 15, "视频.通道数": 3, "视频.无音频": false, "视频.g": null, "视频.crf": null, "视频.预设参数": null, "视频.快速解码": null, "视频.后端": "pyav", "视频.额外选项": {} } }, "时间戳": { "数据类型": "float32", "形状": [ 1 ], "名称列表": null }, "帧索引": { "数据类型": "int64", "形状": [ 1 ], "名称列表": null }, "回合索引": { "数据类型": "int64", "形状": [ 1 ], "名称列表": null }, "全局索引": { "数据类型": "int64", "形状": [ 1 ], "名称列表": null }, "任务索引": { "数据类型": "int64", "形状": [ 1 ], "名称列表": null } }, "总回合数": 977, "总帧数": 233003, "总任务数": 1, "分块大小": 1000, "数据文件总大小(MB)": 100, "视频文件总大小(MB)": 200, "数据文件路径格式": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "视频文件路径格式": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "机器人类型": "rby1", "数据集划分": { "训练集": "0:977" } } ## 引用 **BibTeX格式**: bibtex [更多信息待补充]

提供机构:
rainbowrobotics
搜集汇总
数据集介绍
rainbowrobotics/icra_0526_rel 数据集图片
构建方式
该数据集面向机器人感知与操作领域,旨在为复杂场景下的视觉-语言-动作联合建模提供标注资源。其构建流程依托真实机器人平台采集多模态数据,涵盖RGB图像、深度图及本体感知信号,并通过人工标注与半自动流水线相结合的方式,为每个操作片段赋予任务描述与动作标签。数据经时间对齐与质量筛选,确保样本在时序上的连贯性与语义上的可解释性,从而形成结构化的机器人学习数据集。
使用方法
使用该数据集时,研究者可依据标准划分载入训练集与验证集,将视觉观测与本体状态作为输入,任务描述与动作标签作为监督信号,用于训练端到端的策略网络或视觉-语言-动作模型。针对模仿学习,可提取状态-动作对进行行为克隆;针对多模态预训练,可利用图像-文本-动作三元组构建对比学习目标。使用中需注意时序窗口对齐与数据归一化,并根据具体任务调整采样频率与批处理策略,以充分发挥数据集的时序与语义信息。
背景与挑战
背景概述
icra_0526_rel数据集源于机器人学习与操作领域的持续探索,其命名关联ICRA 2024会议时间节点,反映了该领域对可复现实验与标准化基准的迫切需求。该数据集致力于为机器人操作策略学习提供结构化演示数据,核心研究问题聚焦于如何在多模态感知条件下实现稳健的抓取与操作技能迁移。尽管当前公开信息有限,其设计理念与近年来具身智能研究强调数据驱动范式相契合,有望对机器人学习社区在算法评估与比较方面产生积极影响。
当前挑战
该数据集所面临的挑战涵盖领域核心问题与构建过程两个层面。在领域问题上,机器人操作需应对高维连续动作空间、复杂接触动力学以及感知不确定性,使得策略学习与泛化异常困难。构建过程中,则需解决真实机器人数据采集的成本与一致性问题,确保演示轨迹的质量与可重复性,同时平衡任务多样性与数据规模,以支撑有效学习与公平评估。
常用场景
经典使用场景
在机器人学习与自主系统研究领域,icra_0526_rel数据集常被用作评估算法在复杂动态环境中相对定位与关系推理能力的基准。该数据集通过采集多模态传感器数据,构建了涵盖物体交互、场景理解及运动预测的典型任务框架。研究者多将其用于训练和测试基于图神经网络或注意力机制的模型,以解决智能体在非结构化场景中的空间关系建模问题,从而推动机器人对相对位姿与语义关联的精准解析。
解决学术问题
该数据集有效缓解了机器人学中相对定位与关系理解任务缺乏标准化评测数据的问题。它提供了带有精细标注的序列化交互样本,使研究者能够系统地探究动态场景下物体间时空依赖关系的建模方法。通过引入该数据集,学术社区得以在统一基准上比较不同关系推理算法的鲁棒性与泛化能力,为后续研究奠定了可复现的实验基础,显著促进了具身智能与场景图生成等方向的进展。
实际应用
在实际应用层面,icra_0526_rel数据集支撑了仓储物流机器人、协作机械臂以及自动驾驶车辆的环境感知模块开发。利用该数据集训练的模型可辅助机器人识别并跟踪操作目标间的相对位置变化,从而优化抓取规划与避障策略。同时,在服务机器人领域,该数据集有助于提升人机交互中对动态物体关系的实时理解能力,为构建安全、高效的自主动作系统提供了关键的数据驱动力。
数据集最近研究
最新研究方向
在机器人学习与具身智能领域,icra_0526_rel数据集作为ICRA 2024会议关联的序列决策资源,正推动以关系感知为核心的策略泛化研究。该数据集聚焦于复杂场景中物体间相对位姿与交互关系的建模,为视觉-语言-动作模型提供细粒度监督信号。近期研究借助其关系标注探索跨任务零样本迁移、动态环境下的因果推理以及多智能体协同操作,相关成果在机器人抓取与装配任务中展现出优于传统模仿学习的鲁棒性。该方向不仅呼应了具身基础模型对结构化场景理解的需求,也为工业与家庭服务机器人的通用操作能力提供了可复用的数据基准,对推动关系驱动决策范式的标准化具有积极意义。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务