awesome-deeplearning-based-radar-perception

该合集专注于自动驾驶领域的深度学习雷达感知，收集和整理了多个相关数据集，涵盖雷达多模式检测、分割、跟踪、自由空间检测等任务，并包括论文、项目和工具资源。This collection focuses on deep learning-based radar perception in the field of autonomous driving. It collects and organizes multiple relevant datasets covering tasks such as radar multi-modal detection, segmentation, tracking and free space detection, as well as includes papers, projects and tool resources.

原始信息汇总

数据集详情概述：Awesome Deep Learning based Radar Perception

该项目是一个面向自动驾驶的深度学习雷达感知论文、代码与数据集的精选列表，由社区维护并持续更新。

核心定位：聚焦于深度学习在自动驾驶雷达感知领域的应用，涵盖了从单模态到多模态、从经典任务到前沿方向（如世界模型、3DGS/4DGS、VLA）的全面资料。

数据集 (Datasets)

该部分提供了用于雷达感知研究的公开数据集，按雷达类型分为两大类：

雷达类型	数据集	传感器配置	场景/备注
传统毫米波雷达	CRUW	radar	自动驾驶场景，支持目标跟踪
	CARRADA	camera, radar	道路场景，支持跟踪与分割
	RADDet	radar	提供雷达点云数据
	nuScenes	radar, camera, lidar	包含1000个驾驶场景，是最广泛使用的多模态数据集之一
	RadarScenes	radar, camera	驾驶场景，提供点级别的细粒度标注
	RADIATE	radar, camera, lidar	多种天气条件下的驾驶数据，支持目标跟踪
	Pointillism	radar, camera, lidar	提供多雷达数据
	Zendar	radar, camera, lidar	自动驾驶场景，支持目标跟踪
4D雷达	TJ4DRadSet	radar, camera, lidar	驾驶场景，支持目标跟踪
	K-Radar	camera, lidar, radar	涵盖各种天气条件，提供4D tensor数据
	OmniHD-Scenes	多模态	下一代多模态数据集

工具 (Tools)

项目还收录了用于雷达数据处理的实用工具：

• RADDet：用于雷达点云表示。
• mmWave Radar Camera Fusion (基于CRFNet): 提供雷达-相机融合的代码基线。

搜集汇总

数据集介绍

构建方式

该数据集并非传统意义上的标注数据集合，而是一个精心编纂的学术资源索引。其构建方式基于对自动驾驶领域中深度学习雷达感知文献的系统性梳理与分类。维护者通过持续追踪arXiv等预印本平台及顶级会议，广泛收集自2019年至2026年间发表的代表性论文、开源代码及公开数据集。所有条目按照任务类型（如目标检测、分割、深度估计、跟踪）与模态（单模态、多模态、4D雷达）进行层级化组织，并辅以年份、代码链接、中文解读及备注等元信息，最终以结构化的Markdown表格形式呈现于GitHub仓库中。

使用方法

使用者可直接通过GitHub页面上的目录导航快速定位至感兴趣的研究子领域。例如，若关注4D雷达目标检测，可点击'2.3 4D雷达检测'章节；若需寻找公开数据集，则直接进入'9. 数据集'板块。每个章节下的表格清晰列出了论文标题、年份、任务类型及代码链接。研究者可据此迅速获取核心文献，并通过附带的arXiv链接阅读全文，或通过GitHub链接获取开源代码进行实验。该资源库本身不提供数据下载，而是作为进入该领域学术生态的便捷门户。

背景与挑战

背景概述

随着自动驾驶技术的飞速发展，环境感知作为其核心环节，对传感器的可靠性与鲁棒性提出了严苛要求。毫米波雷达凭借其全天候工作能力、低成本以及对光照和天气变化不敏感等优势，逐渐成为自动驾驶感知系统中不可或缺的组成部分。近年来，深度学习技术的引入极大地推动了雷达感知性能的跃升，催生了大量创新性的研究方法与开源数据集。在此背景下，由研究者nacayu维护的“awesome-deeplearning-based-radar-perception”项目应运而生，该系统性的资源汇总始于2022年前后，专注于收录面向自动驾驶的深度学习雷达感知领域的前沿论文、代码与数据集，涵盖目标检测、语义分割、深度估计、多模态融合乃至世界模型与视觉-语言-动作模型等前沿方向，已成为该领域研究人员获取最新进展与基准资源的重要门户。

当前挑战

尽管深度学习极大地促进了雷达感知技术的进步，但该领域仍面临多重挑战。从所解决的领域问题来看，雷达点云固有的稀疏性与低角分辨率使得单模态目标检测与分割的精度远逊于激光雷达，而多模态融合中雷达与相机、激光雷达在空间与时间维度上的对齐难题仍未得到完美解决。此外，4D雷达虽能提供额外的俯仰维信息，但其高维张量数据的处理与特征提取方法尚不成熟。在数据集构建过程中，挑战同样严峻：大规模雷达数据集的标注成本极高，尤其是点级别的语义标注需要大量人工介入；现有公开数据集在场景多样性、天气条件覆盖范围以及传感器配置一致性上存在明显不足，难以全面支撑模型的泛化性与鲁棒性评估。

常用场景

经典使用场景

该数据集精选了面向自动驾驶的深度学习雷达感知领域的前沿文献与代码资源，核心应用场景聚焦于利用毫米波雷达（尤其是4D雷达）与视觉、激光雷达等多模态传感器进行协同感知。其典型用途包括单模态雷达目标检测、多模态融合检测、语义分割、深度估计以及多目标跟踪。例如，研究者可基于RadarNeXt实现实时可靠的4D雷达3D目标检测，或借助CRAFT等融合框架在复杂道路环境中实现空间-语义互补的鲁棒感知，从而在雨雾、低光照等恶劣条件下弥补纯视觉方案的不足。

解决学术问题

该数据集系统梳理了深度学习雷达感知领域的关键学术挑战，包括雷达点云稀疏性与噪声抑制、多模态数据异构对齐、4D雷达张量高效表征，以及端到端感知模型的泛化能力。通过汇总Radar-PointGNN等基于图神经网络的点云识别方法、CenterFusion等中心点融合检测框架，以及TransRAD等注意力机制改进工作，有效回应了如何从非结构化雷达数据中提取鲁棒特征、如何弥合雷达与相机视角差异、如何实现低成本无激光雷达场景下的BEV感知等核心问题，推动了自动驾驶感知系统在安全性与可靠性上的理论突破。

实际应用

在实际应用中，该数据集指导的技术方案已广泛部署于高级驾驶辅助系统与L4级自动驾驶平台。例如，NVRadarNet可在1.5毫秒内完成BEV空间的障碍物与自由空间实时检测，满足嵌入式芯片的算力约束；CRFNet基于YOLOv3的雷达-相机融合架构被用于量产车型的全天候目标识别；而K-Radar等4D雷达数据集支撑了在暴雨、夜间等极端天气下的环境建模。这些方法显著提升了感知系统对动态行人、静止车辆及非标准障碍物的识别鲁棒性，成为车企与Tier1供应商实现功能安全的关键技术储备。

数据集最近研究

最新研究方向

在自动驾驶感知领域，深度学习与雷达技术的融合正迎来范式性突破，该数据集聚焦于毫米波与4D雷达在复杂动态环境中的前沿应用。当前研究热点已从传统的单模态目标检测与分割，跃迁至多模态深度协同与端到端智能决策。例如，基于Retentive Vision Transformer的TransRAD与脉冲神经网络SpikingRTNH等模型，显著提升了4D雷达在恶劣天气下的鲁棒感知能力；而雷达-相机跨维度融合技术（如RadarXFormer、MLF-4DRCNet）则通过小波变换与对比学习对齐，实现了对三维空间更精准的语义理解。值得注意的是，面向开放世界自动驾驶的视觉-语言-动作模型（VLA-R）与可重光照3D高斯泼溅（R-PGA）等新兴方向，正将雷达感知从环境建模推向因果推理与物理对抗防御的新高度。这些进展不仅推动了自动驾驶系统在雨雾、低光照等极端场景下的可靠性提升，也为构建具备世界模型理解能力的下一代智能体奠定了数据与算法基础。