chengyenhsieh/TAO-Amodal
收藏资源简介：
我们的数据集通过为完全不可见、出框和被遮挡的物体添加模态边界框注释，扩展了TAO数据集。这意味着TAO-Amodal还包括模态分割掩码（如上方的彩色叠加所示）。我们的数据集包含880个类别，旨在通过模态感知的任意物体跟踪（TAO-Amodal）范式，评估当前跟踪器在遮挡推理方面的能力。
Our dataset extends the TAO dataset by adding amodal bounding box annotations for fully invisible, out-of-frame, and occluded objects. This means that the TAO-Amodal dataset also includes amodal segmentation masks, as shown by the colored overlay above. Our dataset contains 880 categories, and is designed to evaluate the ability of current trackers in occlusion reasoning via the amodal-aware arbitrary object tracking (TAO-Amodal) paradigm.
TAO-Amodal 数据集概述
数据集描述
TAO-Amodal 数据集是对 TAO 数据集的增强，增加了对完全不可见、出框和遮挡对象的非模态边界框标注。该数据集包含 880 个类别，旨在通过非模态感知（TAO-Amodal）评估当前跟踪器的遮挡推理能力。
数据下载
-
使用 git 下载： bash git lfs install git clone git@hf.co:datasets/chengyenhsieh/TAO-Amodal
-
使用 Python 下载： python from huggingface_hub import snapshot_download snapshot_download(repo_id="chengyenhsieh/TAO-Amodal")
-
解压所有视频： 修改
dataset_root并运行： bash python unzip_video.py
数据集结构
数据集结构如下： bash TAO-Amodal ├── frames │ └── train │ ├── ArgoVerse │ ├── BDD │ ├── Charades │ ├── HACS │ ├── LaSOT │ └── YFCC100M ├── amodal_annotations │ ├── train/validation/test.json │ ├── train_lvis_v1.json │ └── validation_lvis_v1.json ├── example_output │ └── prediction.json ├── BURST_annotations │ ├── train │ └── train_visibility.json │ ...
文件描述
| 文件名 | 描述 |
|---|---|
| train/validation/test.json | 正式标注文件，用于可视化。类别包括 lvis v0.5 和自由形式类别。 |
| train_lvis_v1.json | 用于训练 amodal-expander，将每个图像帧视为独立序列。类别与 lvis v1.0 对齐。 |
| validation_lvis_v1.json | 用于评估 amodal-expander。类别与 lvis v1.0 对齐。 |
| prediction.json | amodal-expander 的示例输出 json。跟踪器预测应按此文件结构进行评估。 |
| BURST_annotations/XXX.json | 来自 BURST 数据集 的模态掩码标注，带有我们的启发式可见性属性。提供这些文件以便于可视化。 |
标注和预测格式
标注文件格式与 TAO 类似，但有一些修改。
标注格式： bash { "info" : info, "images" : [image], "videos": [video], "tracks": [track], "annotations" : [annotation], "categories": [category], "licenses" : [license], } annotation: { "id": int, "image_id": int, "track_id": int, "bbox": [x,y,width,height], "area": float, "category_id": int, "video_id": int, "amodal_bbox": [x,y,width,height], "amodal_is_uncertain": bool, "visibility": float, (0.~1.0) }
预测格式： bash [{ "image_id" : int, "category_id" : int, "bbox" : [x,y,width,height], "score" : float, "track_id": int, "video_id": int }]
引用
@misc{hsieh2023tracking, title={Tracking Any Object Amodally}, author={Cheng-Yen Hsieh and Tarasha Khurana and Achal Dave and Deva Ramanan}, year={2023}, eprint={2312.12433}, archivePrefix={arXiv}, primaryClass={cs.CV} }
