ONCE

该数据集名为ONCE，是一个大规模的自动驾驶数据集，包含了100万个激光雷达点云样本，这些样本对应于在中国不同城市累计的144小时驾驶数据。该数据集旨在评估半监督学习和自监督学习方法在三维目标检测领域的性能。数据集包含了581个序列，其中20个为标注序列，561个为未标注序列。标注数据被划分为训练、验证和测试集，覆盖了多种天气条件。性能评估采用基于三维交并比（IoU）阈值的平均精度（mAP）指标。该数据集的规模达到了100万样本，任务重点在于三维目标检测。

This dataset, named ONCE, is a large-scale autonomous driving dataset containing 1 million LiDAR point cloud samples, which correspond to 144 hours of driving data accumulated across different cities in China. It is designed to evaluate the performance of semi-supervised learning and self-supervised learning methods in the domain of 3D object detection. The dataset includes 581 sequences, among which 20 are labeled sequences and 561 are unlabeled ones. The labeled data is split into training, validation, and test sets, covering various weather conditions. Performance assessment adopts the mean Average Precision (mAP) metric based on 3D Intersection over Union (IoU) thresholds. With a scale of 1 million samples, the primary task of this dataset is 3D object detection.

搜集汇总

数据集介绍

构建方式

ONCE数据集以半监督方式构建，融合了少量标注数据（约0.5%）与海量未标注点云。首先，通过类别感知伪标签生成器，利用不同检测模型（如PV-RCNN++标注车辆与骑行者，CenterPoint标注行人）分别处理各类别，并结合MeanTeacher半监督方法提升伪标签精度。随后，引入多样性预训练处理器：采用点束回放重采样技术，基于距离图像进行上采样与下采样，以丰富场景级的点密度分布；同时实施目标重新缩放机制，随机调整物体长宽高，增强实例级的尺寸多样性，从而构建覆盖多传感器配置与地理区域的统一大规模点云数据集。

使用方法

使用ONCE数据集时，首先基于其预训练骨干网络生成通用检查点，该检查点可直接加载至多种3D检测模型（如SECOND、CenterPoint、PV-RCNN++）中。预训练完成后，针对不同下游任务（如Waymo、nuScenes、KITTI）进行微调，仅需替换模型输入特征维度（如强度、时间戳）与体素大小等参数。特别地，由于ONCE预训练阶段已纳入多样性增强与未知类感知学习，微调时能显著提升在少样本场景（如3%数据）下的检测精度，并适用于点柱式、点基式等多种骨干网络架构。

背景与挑战

背景概述

在自动驾驶领域，激光雷达点云数据的感知能力是环境理解的核心支柱。然而，现有自监督预训练方法多局限于单一数据集的同源训练与测试，难以实现跨场景、跨传感器的通用表征学习。为此，复旦大学与上海人工智能实验室的研究团队于2023年提出了ONCE数据集与AD-PT预训练范式，旨在构建一个涵盖多样化数据分布的大规模点云预训练数据集。该数据集包含约581个序列，其中仅约0.5%的标注数据与海量无标注数据，通过半监督学习与多样性增强策略，为模型提供场景级与实例级的多维度分布覆盖。ONCE的提出解决了自动驾驶感知模型在跨数据集迁移中的泛化瓶颈，对Waymo、nuScenes、KITTI等多个主流基准的检测性能均有显著提升，推动了预训练-微调解耦的范式革新。

当前挑战

ONCE数据集面临的核心挑战包括：其一，领域泛化难题，不同数据集间的传感器配置（如激光雷达线束差异）与目标尺寸分布存在显著鸿沟，导致预训练模型在迁移至新域时性能骤降；其二，伪标签质量与类别覆盖的平衡，由于仅标注车辆、行人、骑车人三类，且高置信度阈值会遗漏大量硬样本，使得下游任务中如nuScenes的障碍物等未预训练类别被抑制；其三，数据构建复杂性，需设计点束重采样与目标重缩放策略以增强多样性，同时借助多模型协同的类感知伪标签生成与半监督优化，在保证精度的前提下实现海量无标注数据的高效利用。

常用场景

经典使用场景

在自动驾驶感知领域，点云数据的三维目标检测是环境理解的核心任务之一。ONCE数据集以其百万级场景的庞大规模和丰富的传感器配置，成为预训练通用骨干网络的理想数据基础。其经典使用场景在于，研究者和工程师可利用该数据集进行大规模半监督预训练，通过少量标注样本与海量无标注数据的结合，学习到跨场景、跨传感器的泛化特征表示。这些预训练后的骨干参数可直接加载至SECOND、CenterPoint、PV-RCNN++等主流检测器中，并应用于Waymo、nuScenes、KITTI等不同下游基准，显著提升检测精度。

解决学术问题

ONCE数据集的核心学术贡献在于解决了自动驾驶点云预训练中的两大关键问题：数据分布多样性不足与跨数据集泛化能力薄弱。此前自监督预训练方法多局限于同数据集内微调，难以应对不同激光雷达线束、物体尺寸分布及城市环境带来的领域偏移。ONCE通过构建统一的大规模预训练数据集，并引入点束回放重采样与目标重缩放策略，增强了场景级与实例级多样性。同时，其提出的未知感知实例学习机制有效缓解了预训练与下游数据集间的语义差异，使模型能够激活潜在前景区域，从而在多个异构基准上实现性能突破。

实际应用

在实际自动驾驶系统中，ONCE数据集驱动的预训练范式展现出显著的应用价值。首先，它降低了模型部署的成本，企业无需针对每个新城市或传感器配置重新训练完整模型，仅需加载通用预训练权重并在少量本地数据上微调即可获得高精度检测结果。其次，该数据集支持多种主流检测框架的快速迁移，适用于量产车端的实时感知模块升级。此外，在恶劣天气、夜间等长尾场景下，预训练模型展现出更强的鲁棒性，有效提升了自动驾驶系统在复杂道路环境中的安全性与可靠性。

数据集最近研究

最新研究方向

在自动驾驶领域，点云数据预训练正从单一数据集的自监督范式迈向跨数据集、多任务的统一表征学习新阶段。ONCE数据集凭借其百万级场景的规模优势与丰富的标注/未标注混合数据，成为前沿研究的核心载体。当前热点聚焦于半监督预训练框架，通过类感知伪标签生成与多样性增强处理（如波束重采样与目标缩放）构建大规模统一数据集，并设计未知感知实例学习与一致性损失机制，以弥合预训练与下游任务间的语义鸿沟。这一方向显著提升了模型在Waymo、nuScenes、KITTI等主流基准上的泛化性能，推动了自动驾驶感知系统向通用化、可扩展基础模型演进，具有里程碑式意义。

相关研究论文

• AD-PT: Autonomous Driving Pre-Training with Large-scale Point Cloud Dataset

  复旦大学信息科学与技术学院 · 2023年