racing drone dataset

该数据集由莫斯科斯科尔科沃科技学院智能空间机器人实验室创建，包含200个赛 drone 飞行任务，约20000张图像，涵盖穿越拱门形门、方形门和圆形赛道上的门等不同任务。数据采集过程中，使用Vicon运动捕捉系统记录了无人机的速度，T265相机以30Hz的频率捕捉图像。每个数据样本包括位置数据、速度分量、偏航角变化和同步的视觉帧。该数据集使用强化学习数据规范格式化，用于微调OpenVLA模型，以实现赛drone的高速度自主导航。This dataset was created by the Intelligent Space Robotics Laboratory of the Skolkovo Institute of Science and Technology (Skoltech). It contains 200 racing drone flight missions and approximately 20,000 images, covering diverse tasks including passing through arched doors, square doors, and doors on circular race tracks. During data collection, the Vicon motion capture system was used to record the drone's velocity, while the Intel RealSense T265 camera captured images at 30Hz. Each data sample includes position data, velocity components, yaw angle changes, and synchronized visual frames. Formatted according to reinforcement learning data specifications, this dataset is utilized for fine-tuning the OpenVLA model to enable high-speed autonomous navigation of racing drones.

搜集汇总

数据集介绍

构建方式

该数据集通过收集200个赛 drone 的飞行任务，记录了大约20,000张图像，包含了各种赛 drone 任务，如穿越拱门、方形门和圆形赛道等。数据采集过程中，使用了Vicon运动捕捉系统记录 drone 的速度，同时使用T265相机以30Hz的频率捕捉图像。每个数据样本包括位置数据、速度分量、偏航角变化和同步的视觉帧。数据集采用Reinforcement Learning Dataset Specification (RLDS)格式，以确保与OpenVLA的兼容性。

特点

该数据集的特点在于：1) 包含多样化的赛 drone 任务，如穿越不同形状的门和赛道；2) 数据采集过程中同步记录了 drone 的速度和图像，有利于模型训练；3) 采用RLDS格式，方便与OpenVLA模型集成。

使用方法

使用该数据集时，首先需要将其与OpenVLA模型集成，然后进行微调以适应赛 drone 的特定任务。数据集提供了丰富的视觉输入和语言指令，使得模型能够学习生成控制 drone 的动作。在实际应用中，模型可以实时处理来自 drone 的第一人称视角视频流和自然语言指令，生成控制信号。

背景与挑战

背景概述

racing drone dataset 是一个专为自动驾驶无人机导航而设计的创新数据集，由 Valerii Serpiva 等研究人员创建。该数据集用于训练和评估 Vision-Language-Action (VLA) 模型，以实现类似人类飞行员的行为。该模型通过处理第一视角视频流和自然语言命令，直接生成控制无人机的动作向量。racing drone dataset 包含 200 个剧集和大约 20,000 张图像，捕捉了各种赛车任务，如穿越拱门门、方形门和圆形赛道等。数据集的创建旨在推动无人机在动态、复杂环境中的高性能导航能力，为相关领域的研究提供了有力的数据支持。

当前挑战

在构建 racing drone dataset 的过程中，研究人员面临了多个挑战。首先，无人机在动态环境中的导航需要实时处理大量的视觉信息，这对计算资源提出了较高的要求。其次，数据集需要包含丰富的场景和任务，以训练模型适应不同的环境和情况。此外，评估模型在真实世界应用中的性能也是一个挑战，需要设计合适的测试环境和指标。racing drone dataset 的构建不仅推动了 VLA 模型在无人机导航中的应用，也为评估和改进这类模型提供了基准。

常用场景

经典使用场景

racing drone dataset 被用于训练 RaceVLA 系统，该系统通过处理第一人称视角视频流和自然语言命令，生成控制无人机的速度和方向的动作向量。这一经典使用场景体现在将数据集用于自动驾驶无人机在复杂赛道上的导航任务。

实际应用

在实际应用中，racing drone dataset 被用于训练的 RaceVLA 系统已在无人机竞赛导航中展示了其性能，能够在高速度场景下有效处理无人机的飞行控制，具有广泛的应用前景。

衍生相关工作

基于 racing drone dataset 的研究衍生出了多种相关的工作，包括但不限于对无人机进行视觉语言导航的进一步研究，以及将视觉语言动作模型应用于其他类型的无人机任务中。