ROADWork Dataset
收藏资源简介：
该数据集包含与道路施工场景相关的各种注释图像和视频。数据被组织成多个压缩文件，可以从CMU Kilthub下载。数据集包括图像、实例分割、标志信息、场景描述和其他标签，以及用于不同任务的多个分割。
This dataset contains various annotated images and videos related to road construction scenarios. The dataset is organized into multiple compressed files, which can be downloaded from CMU Kilthub. It includes images, instance segmentation annotations, signage information, scene descriptions, other labels, as well as multiple splits designed for different tasks.
ROADWork 数据集概述
数据集内容
ROADWork 数据集包含与道路施工场景相关的多种标注图像和视频。数据被组织成多个压缩文件，可以从 CMU Kilthub 下载。
目录结构
建议的目录结构如下：
├── pathways │ ├── annotations │ └── images ├── scene │ ├── annotations │ ├── images │ └── sem_seg │ ├── gtFine │ │ ├── train │ │ └── val │ └── images │ ├── train │ └── val └── videos
数据集文件描述
数据集可以从 CMU Kilthub 下载，并分为多个压缩文件。以下是每个压缩文件的简要描述：
-
images.zip- 描述： 包含手动标注的所有 ROADWork 图像。
- 解压位置：
/scene/ - 格式：
- 我们收集的图像格式为
pgh<seq_id>_<frame_id>.jpg - 从 Roadbotics 数据挖掘的图像格式为
<city_name>_<sequence_id>_<video_id>_<frame_id>.jpg
- 我们收集的图像格式为
-
annotations.zip- 描述： 包含
images.zip中图像的实例分割、标志信息、场景描述和其他标签，采用类似 COCO 的格式。 - 解压位置：
/scene/ - 格式：
- 遵循 COCO 格式的扩展，详细信息请参见 COCO。
- 图像级别属性存储在
image结构中，而附加的对象级别属性存储在annotation结构中。
- 分割：
instances_<train/val>_gps_split.jsoninstances_<train/val>_gps_split_with_signs.jsoninstances_<train/val>_pittsburgh_only.jsoninstances_geographic_da_{pretrain/unsupervised_with_gt/test}.json
- 描述： 包含
-
sem_seg_labels.zip- 描述： 包含
images.zip中图像的语义分割标签，采用 Cityscapes 格式。 - 解压位置：
/scene/sem_seg - 格式：
- 文件名与图像相同，存储在
scene/gtFine/文件夹中。 - 分割与
gps_split相同。 - 每个图像生成三个文件：
<image_name>_labelColors.png<image_name>_labelIds.png<image_name>_Ids.png
- 文件名与图像相同，存储在
- 描述： 包含
-
discovered_images.zip- 描述： 包含从 BDD100K 和 Mapillary 数据集发现的道路施工场景图像（总数少于 1000 张）。
- 解压位置：
/discovered/ - 用途： 仅用于辅助任务，注意这些外部数据集的特定许可信息。
-
traj_images.zip- 描述： 包含与路径相关的图像，这些图像经过手动筛选，包含从 COLMAP 获得的地面真实路径。
- 解压位置：
/pathways/ - 格式：
<city_name>_<sequence_id>_<video_id>_<frame_id>_<relative_frame_id>.jpg- 片段以 5 FPS 采样，共采样 150 帧用于 3D 重建。
-
traj_annotations.zip- 描述： 包含
traj_images.zip中图像的路径标注。 - 解压位置：
/pathways/ - 用途： 与
traj_images.zip配对使用。
- 描述： 包含
-
traj_images_dense.zip- 描述： 包含密集的路径图像集，类似于
traj_images.zip，但未进行子采样。 - 解压位置：
/pathways_dense/ - 用途： 与
traj_images.zip相同。
- 描述： 包含密集的路径图像集，类似于
-
traj_annotations_dense.zip- 描述： 包含
traj_images_dense.zip中图像的路径标注。 - 解压位置：
/pathways_dense/ - 用途： 与
traj_annotations.zip相同。
- 描述： 包含
-
videos_compressed.zip- 描述： 包含用于计算 3D 重建和路径的 Robotics Open Dataset 视频片段。
- 解压位置：
/videos/ - 格式：
<city_name>_<sequence_id>_<video_id>_<frame_id>.mp4
基线模型
基线模型可以从 Google Drive 下载，解压后放置在 ./models/ 目录中。
脚本和模型
提供了 Jupyter Notebook 示例脚本，展示如何使用数据集、运行模型和可视化结果。环境配置文件 environment.yaml 和 llava_environment.yaml 也已提供。
许可证信息
代码采用 MIT 许可证。ROADWork 数据集采用 Open Data Commons Attribution License v1.0 许可证。discovered_images.zip 文件中的图像来自 BDD100K 和 Mapillary 数据集，使用这些图像时需遵守相应许可证。
引用
如果使用此数据集进行研究，请引用：
@article{ghosh2024roadwork, title={ROADWork Dataset: Learning to Recognize, Observe, Analyze and Drive Through Work Zones}, author={Ghosh, Anurag and Tamburo, Robert and Zheng, Shen and Alvarez-Padilla, Juan R and Zhu, Hailiang and Cardei, Michael and Dunn, Nicholas and Mertz, Christoph and Narasimhan, Srinivasa G}, journal={arXiv preprint arXiv:2406.07661}, year={2024} }
联系
如有任何问题或支持需求，请联系 Anurag Ghosh。
