HazyDet|无人机数据集|物体检测数据集

arXiv2024-09-30 更新2024-10-02 收录

无人机

物体检测

383,000条

下载链接：

https://github.com/GrokCV/HazyDet

下载链接

链接失效反馈

资源简介：

HazyDet是由解放军工程大学等机构创建的一个大规模数据集，专门用于雾霾场景下的无人机视角物体检测。该数据集包含383,000个真实世界实例，收集自自然雾霾环境和正常场景中人工添加的雾霾效果，以模拟恶劣天气条件。数据集的创建过程结合了深度估计和大气散射模型，确保了数据的真实性和多样性。HazyDet主要应用于无人机在恶劣天气条件下的物体检测，旨在提高无人机在复杂环境中的感知能力。

提供机构：

石家庄校区，解放军工程大学

开放时间：

2024-09-30

创建时间：

2024-09-30

原始信息汇总

HazyDet: Open-source Benchmark for Drone-View Object Detection with Depth-cues in Hazy Scenes

数据集概述

HazyDet-365K

下载地址: Baidu Cloud
数据结构:

HazyDet-365K |-- train |-- clean images |-- hazy images |-- labels |-- val |-- clean images |-- hazy images |-- labels |-- test |-- clean images |-- hazy images |-- labels |-- RDDTS |-- hazy images |-- labels
密码: grok

模型与性能

检测器 (Detectors)

模型	骨干网络	参数数量 (M)	GFLOPs	mAP on Test-set	mAP on RDDTS	配置文件	权重文件
YOLOv3	Darknet53	61.63	20.19	35.0	19.2	config	weight
GFL	ResNet50	32.26	198.65	36.8	13.9	config	weight
YOLOX	CSPDarkNet	8.94	13.32	42.3	24.7	config	weight
RepPoints	ResNet50	36.83	184.32	43.8	21.3	config	weight
FCOS	ResNet50	32.11	191.48	45.9	22.8	config	weight
Centernet	ResNet50	32.11	191.49	47.2	23.8	config	weight
ATTS	ResNet50	32.12	195.58	50.4	25.1	config	weight
DDOD	ResNet50	32.20	173.05	50.7	26.1	config	weight
VFNet	ResNet50	32.89	187.39	51.1	25.6	config	weight
TOOD	ResNet50	32.02	192.51	51.4	25.8	config	weight
Sparse RCNN	ResNet50	108.54	147.45	27.7	10.4	config	weight
Dynamic RCNN	ResNet50	41.35	201.72	47.6	22.5	config	weight
Faster RCNN	ResNet50	41.35	201.72	48.7	23.6	config	weight
Libra RCNN	ResNet50	41.62	209.92	49.0	23.7	config	weight
Grid RCNN	ResNet50	64.46	317.44	50.5	25.2	config	weight
Cascade RCNN	ResNet50	69.15	230.40	51.6	26.0	config	weight
Conditional DETR	ResNet50	43.55	94.17	30.5	11.7	config	weight
DAB DETR	ResNet50	43.70	97.02	31.3	11.7	config	weight
Deform DETR	ResNet50	40.01	192.51	51.9	26.5	config	weight
FCOS-DeCoDet	ResNet50	34.62	225.37	47.4	24.3	config	weight
VFNet-DeCoDet	ResNet50	34.61	249.91	51.5	25.9	config	weight

去雾 (Dehazing)

类型	方法	PSNR	SSIM	mAP on Test-set	mAP on RDDTS	权重文件
Baseline	Faster RCNN	-	-	39.5	21.5	weight
Dehaze	GridDehaze	12.66	0.713	38.9 (-0.6)	19.6 (-1.9)	weight
Dehaze	MixDehazeNet	15.52	0.743	39.9 (+0.4)	21.2 (-0.3)	weight
Dehaze	DSANet	19.01	0.751	40.8 (+1.3)	22.4 (+0.9)	weight
Dehaze	FFA	19.25	0.798	41.2 (+1.7)	22.0 (+0.5)	weight
Dehaze	DehazeFormer	17.53	0.802	42.5 (+3.0)	21.9 (+0.4)	weight
Dehaze	gUNet	19.49	0.822	42.7 (+3.2)	22.2 (+0.7)	weight
Dehaze	C2PNet	21.31	0.832	42.9 (+3.4)	22.4 (+0.9)	weight
Dehaze	DCP	16.98	0.824	44.0 (+4.5)	20.6 (-0.9)	weight
Dehaze	RIDCP	16.15	0.718	44.8 (+5.3)	24.2 (+2.7)	weight

AI搜集汇总

数据集介绍

构建方式

HazyDet数据集的构建过程融合了真实世界和合成数据，以模拟雾霾环境下的无人机视角物体检测。该数据集包含383,000个真实实例，这些实例从自然雾霾环境和正常场景中收集，并通过合成雾霾效果来模拟恶劣天气条件。数据处理过程中，使用了大气散射模型（ASM）来生成雾霾图像，并结合深度估计模型来确保深度信息的准确性。此外，还采用了半自动标注方法对未标注的雾霾天气图像进行标注，以确保数据集的高质量和高覆盖率。

特点

HazyDet数据集的显著特点在于其大规模和多样性，涵盖了从自然雾霾到合成雾霾的多种场景。数据集中的图像具有显著的尺度变化和清晰度差异，这为深度条件检测器（DeCoDet）的设计提供了丰富的先验知识。此外，数据集还包含了详细的深度信息，这些信息与雾霾场景的分布密切相关，为检测算法提供了重要的辅助信息。

使用方法

HazyDet数据集适用于开发和评估在雾霾环境下无人机视角的物体检测算法。研究者可以使用该数据集训练深度条件检测器（DeCoDet），该检测器能够利用深度信息来动态调整检测策略，从而提高在雾霾环境中的检测性能。数据集的开放性和详细标注使其成为评估现有算法和开发新算法的理想平台。

背景与挑战

背景概述

近年来，无人机（UAVs）因其成本效益和多功能性而迅速发展，广泛应用于精准农业、城市交通管理和军事侦察等领域。这些应用的成功依赖于机载摄像头对环境的准确感知能力，因此，开发适用于无人机视角的鲁棒高效目标检测技术成为一个关键的研究领域。尽管在通用目标检测方面取得了显著进展，但直接应用于无人机捕获的图像时，这些技术往往表现不佳，主要原因是无人机视角的独特性，如尺度变化和非均匀分布。为了解决这些问题，研究人员开发了专门算法，如多尺度特征融合和粗到细策略，但这些方法主要集中在无人机图像的内在特性上，忽略了恶劣天气条件对无人机视角检测的影响。为此，Changfeng Feng等人于2024年引入了HazyDet数据集，这是一个针对雾霾场景下无人机目标检测的大规模数据集，旨在填补相关基准的空白。

当前挑战

HazyDet数据集的构建面临多重挑战。首先，无人机在恶劣天气条件下的目标检测问题尚未得到充分探索，缺乏相关基准数据集。其次，构建过程中需要收集大量真实世界的雾霾场景数据，并进行高质量的标注，这一过程既耗时又昂贵。此外，模拟雾霾效果时，如何确保模拟数据与真实数据的一致性也是一个难题。最后，如何在雾霾条件下有效利用深度信息进行目标检测，同时避免图像恢复过程中引入的噪声干扰，是该数据集面临的主要技术挑战。

常用场景

经典使用场景

HazyDet数据集在无人机视角下的雾天场景物体检测中展现了其经典应用。该数据集通过结合真实雾天环境和合成雾效，提供了丰富的深度线索，使得深度条件检测器（DeCoDet）能够有效整合深度感知，从而在不同深度和雾度条件下显著提升物体检测的准确性。

衍生相关工作

HazyDet数据集的推出催生了一系列相关研究工作。例如，基于该数据集的深度条件检测器（DeCoDet）不仅提升了雾天场景下的物体检测性能，还启发了其他研究者在多尺度特征融合、深度感知和动态深度条件核模块等方面的创新研究。

数据集最近研究