ctrlvla_pick_dual_bottles_aligned
收藏资源简介:
一个经过验证的LeRobot v2.1发布数据集,专为pick_dual_bottles任务设计,包含两个原生RoboTwin 2.0专家调度程序。这两个调度程序独立生成数据并拼接成一个训练分割,不按种子或场景进行配对。数据集总计包含200个episodes、35,742个对齐样本和600个视频(帧率为30 FPS),涵盖两种变体:non_overlapping_reference(将双臂专家动作拆分为原生单臂规划器调用,每次最多一只手臂有活动关节运动)和dependency_aware_overlap(依赖安全的左/右原语直接传递给原生RoboTwin移动函数,实现真实模拟器并发)。数据内容包括14-DoF状态和动作观察、相位one-hot编码、手臂活动掩码,以及头戴、左腕和右腕的AV1视频。所有变体均通过原生规划、任务成功、原生回放和碰撞验证以确保质量。
A validated LeRobot v2.1 release dataset containing two native RoboTwin 2.0 expert schedulers for the pick_dual_bottles task. These two schedulers are independently generated and concatenated into one training split, not paired by seed or scene. The dataset totals 200 episodes, 35,742 aligned samples, and 600 videos (30 FPS), covering two variants: non_overlapping_reference (splitting dual-arm expert actions into native single-arm planner calls, with at most one arm having active joint motion at a time) and dependency_aware_overlap (dependency-safe left/right primitives directly passed to native RoboTwin move functions for true simulator concurrency). Data includes 14-DoF state and action observations, phase one-hot encodings, arm activity masks, and AV1 videos from head-mounted, left-wrist, and right-wrist cameras. All variants are validated via native planning, task success, native replay, and collisions.
数据集概述:ctrlvla_pick_dual_bottles_aligned
- 许可证:Apache-2.0
- 任务类别:机器人学(Robotics)
- 标签:LeRobot, RoboTwin-2.0, 双臂, 原生专家, 并行VLA
数据集构成
| LeRobot 片段编号 | 调度变体 | 片段数 | 对齐样本数 | 原生配置 |
|---|---|---|---|---|
| 0-99 | non_overlapping_reference | 100 | 23,557 | parallelvla_non_overlapping_reference_verified_v1 |
| 100-199 | dependency_aware_overlap | 100 | 12,185 | parallelvla_dependency_aware_overlap_verified_v1 |
- 总计:200 个片段,35,742 个对齐样本,600 个视频,帧率 30 FPS。
- 片段与变体、源片段、种子和场景的详细映射记录在
parallelvla_variant_manifest.json文件中。
官方 RoboTwin 调度说明
pick_dual_bottles任务的官方专家调度被归类为dependency_aware_overlap,而非非重叠调度。- 官方调度通过
play_once()同时控制双臂进行抓取、抬起和放置操作;审计后的官方 clean-50 HDF5 文件的活动运动重叠率为 0.9980514419。 - 官方存档位于
TianxingChen/RoboTwin2.0,修订版本为9dc9299c163db059931898a9f0852098a61155a1。 - 本发布未包含官方 clean-50 文件,因其缺少当前验证协议所需的源提交信息、可恢复的智能体姿态场景标识、相位轨迹、碰撞/原生重放凭证、同步训练动作重放凭证以及
(1024, 6)点云。
调度语义
non_overlapping_reference(非重叠参考):每个双臂专家动作被拆分为原生单臂规划器调用。除真实的占有/依赖等待外,同一时间最多只有一只手臂具有主动关节运动。左右臂的顺序通过确定性方式平衡,以避免手臂顺序混淆因素。dependency_aware_overlap(依赖感知重叠):依赖安全的左/右基元直接传递给原生 RoboTwin 的move(left_action, right_action)。这是真实的模拟器并发执行,而非后处理近似。在 100 个已接受的片段中,活动运动重叠率为 0.9965716525。- 两种变体均不存在随机时间插值、离线 HDF5 重新定时、帧删除/重复、观察拼接或冻结视频等待合成。
源版本与物理配置
- parallelVLA 生成提交:
ce20e57befbd4c424bb70f094aa19b4066d43f99 - RoboTwin 提交:
c3ddfa8b97d5519efa828b075999bd0006778e5e - 基础物理/相机配置:
parallelvla_clean_pcd - 原始 HDF5 来源模式:
parallelvla_schema_version=4 - 最终种子策略:独立(
independent);每种变体搜索其自身完全接受的种子。
训练对齐
- 预处理器:
robotwin_next_sample_joint_target_v2,版本 2 - 对齐方式:
state[t] -> action[t+1] - 部署重放配置文件:
shared_dp3_pi05_qpos_topp_per_target_v1 - 原始/样本 FPS 与 LeRobot FPS:30
- 主相机路由:异步片段起始场景上下文
- 腕部相机路由:每只手臂的原生动态帧
- 提示按帧标记为
[PHASE=SYNC]或[PHASE=ASYNC] - 特征包括 14 自由度
observation.state、14 自由度action、observation.phase_one_hot、observation.arm_active_mask,以及头部、左腕、右腕的 640x480 AV1 视频。
验证结果
- 两种变体均通过 100/100 的原生规划、任务成功、原生重放、伪影和臂间碰撞检测。
- 两种变体的原生臂间接触步数均为 0。
dependency_aware_overlap的同步训练动作重放通过率为 100/100。- 训练动作重放中的臂间接触步数为 0。
- 所有 600 个 LeRobot 视频均严格解码,片段帧数匹配,无需修复。
- 验证报告包含在
validation/目录下。
局限性
- 本 LeRobot 发布不包含原始
(1024, 6)点云或完整的原生相位/碰撞凭证,这些保留在已验证的 RoboTwin HDF5 根目录中。 - 效率比较必须使用独立的公共种子诊断集,而非匹配的 LeRobot 片段索引,因为两个已发布的变体使用独立的种子。
引用
使用本数据集时,请引用 RoboTwin 2.0 和 parallelVLA。



