SemanticKITTI-C, SemanticPOSS-C

SemanticKITTI-C和SemanticPOSS-C是专为评估激光雷达语义分割模型在各种损坏下的鲁棒性而设计的大型基准数据集。这些数据集包含4071和500个激光雷达扫描，分别对应于SemanticKITTI和SemanticPOSS的验证集，并引入了16种不同类型的损坏，包括不利天气条件、测量噪声和跨设备差异。这些损坏旨在模拟自动驾驶等安全关键应用中可能遇到的真实世界情况，从而全面分析和提高激光雷达语义分割模型的鲁棒性和泛化能力。SemanticKITTI-C and SemanticPOSS-C are large-scale benchmark datasets specifically designed to evaluate the robustness of LiDAR semantic segmentation models against various corruptions. These datasets comprise 4071 and 500 LiDAR scans, corresponding respectively to the validation sets of SemanticKITTI and SemanticPOSS. They incorporate 16 distinct types of corruptions, including adverse weather conditions, measurement noise, and cross-device discrepancies. These corruptions are intended to simulate real-world scenarios that may be encountered in safety-critical applications such as autonomous driving, enabling comprehensive analysis and enhancement of the robustness and generalization capabilities of LiDAR semantic segmentation models.

搜集汇总

数据集介绍

构建方式

在自动驾驶等安全关键应用中，LiDAR点云常因恶劣天气、测量噪声或设备差异而遭受多种损坏，然而现有语义分割模型多在干净数据上评估，缺乏对鲁棒性的系统考量。为此，该研究基于SemanticKITTI和SemanticPOSS的验证集，分别对4,071和500帧LiDAR扫描施加了16种分布外损坏，构建了SemanticKITTI-C与SemanticPOSS-C基准数据集。这些损坏被归纳为三类：恶劣天气（雾、雪模拟）、测量噪声（全局离群点、局部畸变）和跨设备差异（32线、16线激光雷达降采样），每种损坏均包含多个强度等级，以全面模拟真实部署中的复杂退化场景。

特点

该数据集的核心特点在于其系统性与多样性，首次为LiDAR语义分割提供了覆盖多维度损坏的鲁棒性基准。16种损坏不仅模拟了物理现象（如雾的衰减系数β、雪的降水率），还涵盖了传感器故障（全局离群点比例达50%）和跨设备域迁移（从64线降至16线），且每种损坏设有轻、中、重三级强度，共计16种严重度级别。这种分层设计使得评估粒度更精细，能够揭示不同模型对特定损坏的敏感差异，例如投影方法对雾脆弱但抗局部畸变，而点基方法则相反。此外，数据集保留了原始语义标签，并对新增噪声点标注为'ignore'，确保评估的公平性。

使用方法

使用该数据集时，研究者需在干净训练集上训练模型，然后在损坏的验证集上评估其鲁棒性，通过相对性能保留率（R值）衡量退化程度。具体而言，可对每种损坏的多个强度取平均mIoU，再除以干净数据上的mIoU，得到该损坏下的鲁棒性分数，并进一步汇总为平均鲁棒性mR。该基准支持多种输入表示（点云、体素、投影图像）的模型对比，例如论文中评估了11种方法，涵盖SalsaNext、KPConv、MinkowskiNet等，并允许分析架构设计（如体素划分方式、数据增强Mix3D）对鲁棒性的影响。研究者可基于此基准测试新模型的抗干扰能力，或借鉴观察结果设计更鲁棒的架构，如RLSeg。

背景与挑战

背景概述

在自动驾驶等安全关键应用中，LiDAR语义分割模型的鲁棒性至关重要。然而，现有模型多在清洁数据集上评估，忽略了真实部署中因恶劣天气、传感器噪声及设备差异等导致的分布外扰动。为填补这一空白，香港中文大学（深圳）与马克斯·普朗克信息学研究所的研究人员于2023年提出了SemanticKITTI-C和SemanticPOSS-C基准数据集。该工作由Xu Yan等人主导，首次系统性地针对LiDAR语义分割任务构建了涵盖16种扰动的鲁棒性评测平台，包括雾天、雪天、测量噪声及跨设备差异三大类。这一基准的提出，为评估和提升模型在复杂真实场景下的泛化能力提供了关键支撑，推动了该领域从理想化评测向实际应用的跨越。

当前挑战

当前LiDAR语义分割模型面临的核心挑战在于对多种分布外扰动的鲁棒性不足。具体而言，投影法对雾天模拟尤为脆弱，性能下降显著；点基方法虽抗天气干扰，却对局部几何畸变敏感；而体素法在跨设备场景下表现较好，但混合表示架构的引入反而削弱了鲁棒性。此外，数据集构建本身亦充满挑战：如何物理逼真地模拟雾雪对激光雷达点云的衰减与散射，如何量化测量噪声的全局与局部效应，以及如何通过波束降采样忠实再现不同设备间的域偏移，均需精细的物理建模与算法设计。这些难题使得现有方法在清洁数据上的优异性能难以迁移至复杂多变的真实世界。

常用场景

经典使用场景

SemanticKITTI-C与SemanticPOSS-C作为面向LiDAR语义分割模型的鲁棒性基准数据集，其核心经典使用场景在于系统性地评估模型在多种真实世界与分布外退化条件下的表现。该数据集涵盖三大类共16种退化类型，包括恶劣天气（如雾、雪模拟）、测量噪声（如全局离群点、局部畸变）以及跨设备差异（如不同线束LiDAR模拟），每种退化均设有多个强度等级。研究者常利用该基准对现有主流LiDAR语义分割方法进行横向对比，涵盖基于点云、体素、投影图像等不同输入表示的网络架构，从而揭示各类方法在不同退化场景下的鲁棒性优劣，为后续模型设计提供量化评估依据。

实际应用

在实际应用中，SemanticKITTI-C与SemanticPOSS-C为自动驾驶系统的感知模块提供了严苛的鲁棒性验证工具。自动驾驶车辆在雨雪、雾霾等恶劣天气下行驶时，LiDAR点云常出现噪声、遮挡或稀疏化，而该数据集模拟的退化场景恰好覆盖了这些典型工况。开发者可利用该基准测试不同语义分割模型在跨设备（如从64线束降至16线束）或传感器故障（如局部畸变）等异常情况下的稳定性，从而筛选或设计出更适应真实道路环境的算法。此外，该数据集还可用于评估数据增强策略（如Mix3D）或知识蒸馏等训练技巧对鲁棒性的提升效果，推动感知系统在实际部署中的可靠性提升。

衍生相关工作

基于该基准数据集，衍生出了一系列聚焦LiDAR语义分割鲁棒性的经典工作。其中最具代表性的是论文中提出的RLSeg模型，该模型结合了圆柱体素划分、Mix3D数据增强以及知识蒸馏技术，在保持干净数据高性能的同时显著提升了在各类退化条件下的鲁棒性。此外，该基准也启发了后续研究对混合表示架构（如点-体素融合）鲁棒性缺陷的深入分析，促使学者重新审视PointHead等组件对分布外数据的脆弱性。同时，基于该数据集的分析结论，研究者开始探索更有效的训练策略，例如利用伪标签自训练或跨模态知识迁移来增强模型对噪声和天气变化的适应能力，推动了鲁棒3D感知领域的持续发展。