HazyDet|无人机数据集|物体检测数据集
arXiv2024-09-30 更新2024-10-02 收录21921
资源简介:
HazyDet是由解放军工程大学等机构创建的一个大规模数据集,专门用于雾霾场景下的无人机视角物体检测。该数据集包含383,000个真实世界实例,收集自自然雾霾环境和正常场景中人工添加的雾霾效果,以模拟恶劣天气条件。数据集的创建过程结合了深度估计和大气散射模型,确保了数据的真实性和多样性。HazyDet主要应用于无人机在恶劣天气条件下的物体检测,旨在提高无人机在复杂环境中的感知能力。
原始地址:
https://github.com/GrokCV/HazyDet
提供机构:
石家庄校区,解放军工程大学
开放时间:
2024-09-30
创建时间:
2024-09-30
HazyDet: Open-source Benchmark for Drone-View Object Detection with Depth-cues in Hazy Scenes
数据集概述
HazyDet-365K
-
下载地址: Baidu Cloud
-
数据结构:
HazyDet-365K |-- train |-- clean images |-- hazy images |-- labels |-- val |-- clean images |-- hazy images |-- labels |-- test |-- clean images |-- hazy images |-- labels |-- RDDTS |-- hazy images |-- labels
-
密码:
grok
模型与性能
检测器 (Detectors)
模型 | 骨干网络 | 参数数量 (M) | GFLOPs | mAP on Test-set | mAP on RDDTS | 配置文件 | 权重文件 |
---|---|---|---|---|---|---|---|
YOLOv3 | Darknet53 | 61.63 | 20.19 | 35.0 | 19.2 | config | weight |
GFL | ResNet50 | 32.26 | 198.65 | 36.8 | 13.9 | config | weight |
YOLOX | CSPDarkNet | 8.94 | 13.32 | 42.3 | 24.7 | config | weight |
RepPoints | ResNet50 | 36.83 | 184.32 | 43.8 | 21.3 | config | weight |
FCOS | ResNet50 | 32.11 | 191.48 | 45.9 | 22.8 | config | weight |
Centernet | ResNet50 | 32.11 | 191.49 | 47.2 | 23.8 | config | weight |
ATTS | ResNet50 | 32.12 | 195.58 | 50.4 | 25.1 | config | weight |
DDOD | ResNet50 | 32.20 | 173.05 | 50.7 | 26.1 | config | weight |
VFNet | ResNet50 | 32.89 | 187.39 | 51.1 | 25.6 | config | weight |
TOOD | ResNet50 | 32.02 | 192.51 | 51.4 | 25.8 | config | weight |
Sparse RCNN | ResNet50 | 108.54 | 147.45 | 27.7 | 10.4 | config | weight |
Dynamic RCNN | ResNet50 | 41.35 | 201.72 | 47.6 | 22.5 | config | weight |
Faster RCNN | ResNet50 | 41.35 | 201.72 | 48.7 | 23.6 | config | weight |
Libra RCNN | ResNet50 | 41.62 | 209.92 | 49.0 | 23.7 | config | weight |
Grid RCNN | ResNet50 | 64.46 | 317.44 | 50.5 | 25.2 | config | weight |
Cascade RCNN | ResNet50 | 69.15 | 230.40 | 51.6 | 26.0 | config | weight |
Conditional DETR | ResNet50 | 43.55 | 94.17 | 30.5 | 11.7 | config | weight |
DAB DETR | ResNet50 | 43.70 | 97.02 | 31.3 | 11.7 | config | weight |
Deform DETR | ResNet50 | 40.01 | 192.51 | 51.9 | 26.5 | config | weight |
FCOS-DeCoDet | ResNet50 | 34.62 | 225.37 | 47.4 | 24.3 | config | weight |
VFNet-DeCoDet | ResNet50 | 34.61 | 249.91 | 51.5 | 25.9 | config | weight |
去雾 (Dehazing)
类型 | 方法 | PSNR | SSIM | mAP on Test-set | mAP on RDDTS | 权重文件 |
---|---|---|---|---|---|---|
Baseline | Faster RCNN | - | - | 39.5 | 21.5 | weight |
Dehaze | GridDehaze | 12.66 | 0.713 | 38.9 (-0.6) | 19.6 (-1.9) | weight |
Dehaze | MixDehazeNet | 15.52 | 0.743 | 39.9 (+0.4) | 21.2 (-0.3) | weight |
Dehaze | DSANet | 19.01 | 0.751 | 40.8 (+1.3) | 22.4 (+0.9) | weight |
Dehaze | FFA | 19.25 | 0.798 | 41.2 (+1.7) | 22.0 (+0.5) | weight |
Dehaze | DehazeFormer | 17.53 | 0.802 | 42.5 (+3.0) | 21.9 (+0.4) | weight |
Dehaze | gUNet | 19.49 | 0.822 | 42.7 (+3.2) | 22.2 (+0.7) | weight |
Dehaze | C2PNet | 21.31 | 0.832 | 42.9 (+3.4) | 22.4 (+0.9) | weight |
Dehaze | DCP | 16.98 | 0.824 | 44.0 (+4.5) | 20.6 (-0.9) | weight |
Dehaze | RIDCP | 16.15 | 0.718 | 44.8 (+5.3) | 24.2 (+2.7) | weight |
数据集介绍
构建方式
HazyDet数据集的构建过程融合了真实世界和合成数据,以模拟雾霾环境下的无人机视角物体检测。该数据集包含383,000个真实实例,这些实例从自然雾霾环境和正常场景中收集,并通过合成雾霾效果来模拟恶劣天气条件。数据处理过程中,使用了大气散射模型(ASM)来生成雾霾图像,并结合深度估计模型来确保深度信息的准确性。此外,还采用了半自动标注方法对未标注的雾霾天气图像进行标注,以确保数据集的高质量和高覆盖率。
特点
HazyDet数据集的显著特点在于其大规模和多样性,涵盖了从自然雾霾到合成雾霾的多种场景。数据集中的图像具有显著的尺度变化和清晰度差异,这为深度条件检测器(DeCoDet)的设计提供了丰富的先验知识。此外,数据集还包含了详细的深度信息,这些信息与雾霾场景的分布密切相关,为检测算法提供了重要的辅助信息。
使用方法
HazyDet数据集适用于开发和评估在雾霾环境下无人机视角的物体检测算法。研究者可以使用该数据集训练深度条件检测器(DeCoDet),该检测器能够利用深度信息来动态调整检测策略,从而提高在雾霾环境中的检测性能。数据集的开放性和详细标注使其成为评估现有算法和开发新算法的理想平台。
背景与挑战
背景概述
近年来,无人机(UAVs)因其成本效益和多功能性而迅速发展,广泛应用于精准农业、城市交通管理和军事侦察等领域。这些应用的成功依赖于机载摄像头对环境的准确感知能力,因此,开发适用于无人机视角的鲁棒高效目标检测技术成为一个关键的研究领域。尽管在通用目标检测方面取得了显著进展,但直接应用于无人机捕获的图像时,这些技术往往表现不佳,主要原因是无人机视角的独特性,如尺度变化和非均匀分布。为了解决这些问题,研究人员开发了专门算法,如多尺度特征融合和粗到细策略,但这些方法主要集中在无人机图像的内在特性上,忽略了恶劣天气条件对无人机视角检测的影响。为此,Changfeng Feng等人于2024年引入了HazyDet数据集,这是一个针对雾霾场景下无人机目标检测的大规模数据集,旨在填补相关基准的空白。
当前挑战
HazyDet数据集的构建面临多重挑战。首先,无人机在恶劣天气条件下的目标检测问题尚未得到充分探索,缺乏相关基准数据集。其次,构建过程中需要收集大量真实世界的雾霾场景数据,并进行高质量的标注,这一过程既耗时又昂贵。此外,模拟雾霾效果时,如何确保模拟数据与真实数据的一致性也是一个难题。最后,如何在雾霾条件下有效利用深度信息进行目标检测,同时避免图像恢复过程中引入的噪声干扰,是该数据集面临的主要技术挑战。
常用场景
经典使用场景
HazyDet数据集在无人机视角下的雾天场景物体检测中展现了其经典应用。该数据集通过结合真实雾天环境和合成雾效,提供了丰富的深度线索,使得深度条件检测器(DeCoDet)能够有效整合深度感知,从而在不同深度和雾度条件下显著提升物体检测的准确性。
衍生相关工作
HazyDet数据集的推出催生了一系列相关研究工作。例如,基于该数据集的深度条件检测器(DeCoDet)不仅提升了雾天场景下的物体检测性能,还启发了其他研究者在多尺度特征融合、深度感知和动态深度条件核模块等方面的创新研究。
数据集最近研究
最新研究方向
在无人机视角下的目标检测领域,HazyDet数据集的最新研究方向主要集中在利用深度信息增强检测性能。研究者们通过设计深度条件检测器(DeCoDet),结合多尺度深度感知检测头和动态深度条件核模块,有效利用了雾霾场景中的深度线索。这一方法不仅提升了检测精度,还显著改善了在恶劣天气条件下的检测鲁棒性。此外,研究还探索了深度估计损失函数和深度图质量对检测性能的影响,为未来在复杂环境中的无人机目标检测提供了新的思路和方法。
相关研究论文
- 1HazyDet: Open-source Benchmark for Drone-view Object Detection with Depth-cues in Hazy Scenes石家庄校区,解放军工程大学 · 2024年
以上内容由AI搜集并总结生成