RS-4M

RS-4M是一个大规模的光学遥感数据集，由国防科技大学等机构创建，包含400万张图像，旨在支持高效的掩码图像建模（MIM）训练。数据集涵盖丰富的细粒度遥感视觉任务，如目标级检测和像素级分割。创建过程中，数据集排除了多光谱和SAR数据，专注于光学图像，并通过随机裁剪高分辨率图像来处理大规模图像分割。RS-4M的应用领域广泛，包括生态监测、自然灾害管理等，旨在通过提供大规模、多样化的数据集，解决现有遥感数据集在规模和多样性上的不足，提升下游任务的性能。RS-4M is a large-scale optical remote sensing dataset created by institutions such as the National University of Defense Technology, comprising 4 million images. It is designed to support efficient Masked Image Modeling (MIM) training. This dataset covers a diverse set of fine-grained remote sensing visual tasks, including object-level detection and pixel-level segmentation. During its development, the dataset excluded multispectral and Synthetic Aperture Radar (SAR) data, focusing exclusively on optical imagery, and adopted random cropping of high-resolution images to handle large-scale image segmentation tasks. RS-4M has a wide range of application scenarios, such as ecological monitoring and natural disaster management. It aims to address the shortcomings of existing remote sensing datasets in terms of scale and diversity by providing a large-scale and diverse dataset, thereby enhancing the performance of downstream tasks.

搜集汇总

数据集介绍

构建方式

RS-4M数据集的构建基于过去十年的遥感图像数据，涵盖了场景分类、目标检测、语义分割和变化检测等主流遥感图像解释任务。数据集包含约100个子数据集，总计1350万张图像。为了确保数据质量，研究团队剔除了多光谱和SAR数据，仅保留了光学图像，并通过感知哈希和人工审查两阶段去重，最终形成了包含400万张高质量遥感光学图像的RS-4M数据集。

特点

RS-4M数据集的特点在于其规模庞大且多样性丰富，涵盖了广泛的遥感场景，尤其适合目标级检测和像素级分割等下游任务。与现有遥感数据集相比，RS-4M的规模至少是其四倍，且包含了更多细粒度的信息。此外，RS-4M的图像经过裁剪和筛选，确保了图像分辨率的一致性，便于自监督预训练。

使用方法

RS-4M数据集主要用于自监督学习方法，特别是掩码图像建模（MIM）的预训练。通过结合高效的MIM方法（如SelectiveMAE），RS-4M能够显著加速训练过程，并提升模型在分类、检测和分割任务中的表现。具体使用时，研究人员可以通过预训练模型在RS-4M上进行特征学习，随后在下游任务中进行微调，以验证模型的泛化能力。

背景与挑战

背景概述

RS-4M数据集是由中国国防科技大学、清华大学、武汉大学等机构的研究团队于2024年提出的一个大规模遥感图像数据集，旨在支持基于掩码图像建模（MIM）的遥感基础模型（RSFMs）的自监督学习。该数据集包含400万张光学遥感图像，涵盖了丰富的遥感视觉任务，如目标检测和像素级分割。RS-4M的创建是为了解决现有遥感数据集在规模和多样性上的不足，尤其是与自然图像数据集（如ImageNet-21k）相比，遥感数据集的样本量较小且缺乏细粒度信息，限制了MIM方法在遥感领域的泛化能力。RS-4M的推出显著提升了遥感领域自监督学习的潜力，并为遥感基础模型的预训练提供了强有力的支持。

当前挑战

RS-4M数据集面临的挑战主要体现在两个方面。首先，遥感图像通常包含大量冗余的背景像素，这限制了传统MIM模型的训练效率。尽管MIM方法在自然图像上取得了显著进展，但在遥感图像中，稀疏的前景信息和复杂的背景使得模型难以高效学习。其次，构建大规模遥感数据集的过程中，数据收集和处理的复杂性也是一个重要挑战。遥感图像的多样性和高分辨率要求数据集在构建时需进行精细的裁剪和去重处理，以确保数据的高质量和多样性。此外，遥感图像的多模态特性（如多光谱和合成孔径雷达数据）尚未完全纳入RS-4M，未来需要进一步扩展数据集的多样性和规模。

常用场景

经典使用场景

RS-4M数据集在遥感领域的经典使用场景主要集中在大规模自监督学习任务中，尤其是在基于掩码图像建模（Masked Image Modeling, MIM）的视觉基础模型预训练中。该数据集通过提供400万张光学遥感图像，涵盖了丰富的场景分类、目标检测和像素级分割任务，能够有效支持遥感基础模型（RSFMs）的训练。其多样性和细粒度信息使得RS-4M成为遥感领域中自监督学习的理想选择，尤其是在处理复杂背景和稀疏前景信息的遥感图像时，表现出色。

实际应用

RS-4M数据集在实际应用中具有广泛的潜力，尤其是在生态系统监测、自然灾害管理和城市发展规划等领域。通过预训练的遥感基础模型，RS-4M能够支持高精度的场景分类、目标检测和变化检测任务。例如，在城市规划中，RS-4M可以帮助识别建筑物、道路和其他基础设施的变化；在自然灾害管理中，它可以用于快速检测洪水、地震等灾害的影响区域。此外，RS-4M的高效训练方法SelectiveMAE使得其在实际应用中能够大幅减少计算成本，提升模型的部署效率。

衍生相关工作

RS-4M数据集的推出催生了一系列相关研究工作，尤其是在遥感基础模型和自监督学习领域。基于RS-4M，研究者提出了SelectiveMAE方法，通过动态选择语义丰富的图像块进行编码和重建，显著提升了训练效率。此外，RS-4M还为其他遥感基础模型（如SatMAE、ScaleMAE等）提供了新的基准数据集，推动了遥感领域自监督学习方法的进一步发展。这些工作不仅提升了遥感图像的理解能力，还为多模态遥感数据的处理提供了新的思路。