遇见数据集

DeepSatData

收藏
arXiv2021-05-07 更新2024-06-21 收录
官方服务:

资源简介:

DeepSatData是由帝国理工学院开发的用于训练机器学习模型的大型卫星图像数据集。该数据集利用欧洲空间局的Sentinel2数据,支持大规模数据集的生成,特别适用于深度神经网络的密集分类任务,如语义分割。数据集的创建涉及从Sentinel2数据中自动下载特定区域和时间段的卫星图像,并结合地面实况数据进行全面标注。DeepSatData的应用领域主要集中在地球观测任务,旨在通过机器学习模型解决与地球表面相关的复杂问题。

DeepSatData is a large-scale satellite image dataset developed by Imperial College London for training machine learning models. This dataset leverages Sentinel-2 data from the European Space Agency (ESA) to support the creation of large-scale datasets, and is particularly suitable for dense classification tasks of deep neural networks such as semantic segmentation. The construction of DeepSatData involves automatically downloading satellite images of specific regions and time periods from Sentinel-2 data, and performing comprehensive annotations in combination with ground truth data. The main application fields of DeepSatData are Earth observation missions, with the objective of resolving complex Earth surface-related problems through machine learning models.

提供机构:
帝国理工学院
创建时间:
2021-04-28
搜集汇总
数据集介绍
构建方式
DeepSatData数据集的构建依托于欧洲航天局哥白尼计划的哨兵2号卫星数据,通过自动化流水线实现大规模卫星影像数据集的生成。首先,针对用户指定的感兴趣区域和时间段,系统从哥白尼开放访问中心下载相应的哨兵2号产品,并依据低云覆盖率、与感兴趣区域的大面积重叠、产品尺寸较大以及沿时间轴均匀分布等准则进行产品优选。随后,将矢量格式的地面真值数据(如农业地块的多边形标注)栅格化为与卫星影像分辨率匹配的密集分类标签图,并生成布尔掩码以标记因地理配准误差导致的像素归属冲突。最终,将每个哨兵2号产品切割为固定尺寸的小图像块,并按地理位置分组为时间序列对象,供深度学习模型使用。
特点
该数据集的核心特点在于其专门面向密集分类任务(如语义分割)设计,能够自动生成大规模、多时相、高分辨率的卫星影像与像素级标注的配对数据。其独特之处在于处理了遥感数据特有的地理配准不一致问题,通过双重分配像素掩码来标识标注中的系统性误差,提升了训练数据的可靠性。数据集支持多种分辨率(10米、20米、60米)的波段组合,并可扩展至超分辨率任务。此外,其流水线设计兼顾了硬件加速器的内存限制,通过分步提取与时间排序,高效生成可供时序模型训练的时间序列样本。
使用方法
用户可通过DeepSatData提供的开源代码库(托管于GitHub)灵活配置数据集生成参数,包括设定感兴趣区域的边界框、时间范围、云覆盖率阈值以及图像块尺寸。对于有地面真值标注的情形,系统自动将矢量多边形栅格化为类别标签图,并生成辅助掩码以指导模型忽略不可靠像素;若无标注,则可直接提取未标注的影像块用于无监督学习。生成的数据集可直接输入至卷积神经网络或循环神经网络进行训练,适用于语义分割、实例分割及作物类型分类等任务。用户亦可调整输出分辨率,以匹配不同模型架构的需求。
背景与挑战
背景概述
随着地球观测卫星数量的激增,每日产生的遥感数据量呈指数级增长,为机器学习模型在密集分类任务(如语义分割)中的应用提供了前所未有的机遇。然而,现有工具难以高效处理并利用这些海量数据。在此背景下,DeepSatData数据集于2021年由伦敦帝国学院的Michail Tarasiou和Stefanos Zafeiriou共同提出,旨在构建一个自动化生成卫星影像数据集的管道,特别聚焦于密集分类任务。该数据集基于欧洲航天局免费开放的Sentinel-2卫星数据,能够生成大规模、高质量的训练样本,填补了遥感领域缺乏标准化大规模数据集的空白。DeepSatData的出现,不仅推动了深度学习在农业监测、土地覆盖分类等地球观测任务中的应用,也为后续研究提供了可复现的工具和思路,显著提升了遥感数据驱动的机器学习研究的可及性与效率。
当前挑战
DeepSatData所面临的挑战涵盖多个层面。首先,在领域问题层面,密集分类任务(如语义分割)要求为每个像素赋予语义标签,而遥感影像中地物复杂、边界模糊,且存在大量未标注区域,这给模型的高精度分类带来了根本性困难。其次,在数据集构建过程中,挑战尤为突出:下载历史卫星影像需通过长期存档系统,每30分钟仅能请求一个产品,且响应时间长达24小时,严重限制了数据获取的规模与速度;此外,地面真值数据与卫星影像的配准依赖地理坐标,但GPS误差和栅格化过程中的双重赋值像素会导致标签不一致,需通过布尔掩码进行校正;同时,不同时间点的影像云覆盖率和重叠区域各异,需手动筛选以优化数据质量,而将大尺寸卫星产品分割为统一尺寸的小块并构建时间序列对象,也面临内存与效率的权衡。
常用场景
经典使用场景
在遥感与地球观测领域,海量卫星影像的自动化获取与标注是训练深度学习模型的核心瓶颈。DeepSatData通过整合欧洲航天局Sentinel-2卫星的开放数据,构建了一套从数据下载、云层筛选到时空对齐的完整流水线,能够生成大规模、高分辨率的多光谱遥感数据集。其经典使用场景聚焦于密集分类任务,尤其是语义分割,例如对农业地块进行作物类型的高精度逐像素划分,或对城市地表覆盖类别(如建筑、水体、植被)进行精细解译。该工具支持用户自定义感兴趣区域与时间窗口,自动提取固定尺寸的图像块并构建时序对象,为多时相遥感分析提供了标准化数据基础。
衍生相关工作
DeepSatData的提出催生了多项具有影响力的衍生工作。在方法论层面,基于其流水线生成的Sentinel-2时序数据集,研究者提出了面向作物类型的上下文自对比预训练范式,通过跨时间步的特征对比学习提升分割模型的泛化能力。在模型架构方面,后续工作探索了利用递归编码器处理长时序遥感数据,实现了土地覆盖类别的连续动态分类,突破了单帧影像的静态认知局限。此外,针对数据生成中的地理定位误差,相关研究进一步开发了像素级偏移校正网络,将DeepSatData的掩码机制与可微分空间变换相结合,自动对齐输入与标签的空间分布。这些工作共同构建了从数据制备到模型优化的完整技术生态。
数据集最近研究
最新研究方向
随着地球观测卫星数量的激增与开放数据政策的持续推进,海量遥感影像的获取门槛显著降低,然而如何高效构建大规模、高质量、带有密集标注的卫星影像数据集,仍是制约深度学习模型在语义分割等稠密分类任务中取得突破的关键瓶颈。DeepSatData数据集应运而生,其核心贡献在于提出了一套基于Sentinel-2免费数据的自动化数据生成流水线,能够针对指定时空范围自动下载影像并与地面真值对齐,生成适配深度神经网络训练的时间序列样本。当前前沿研究正聚焦于利用该流水线解决多时相作物类型识别、土地覆盖变化监测等热点问题,尤其关注云覆盖筛选、地理定位误差掩码处理以及超分辨率标注对齐等关键技术。这一工具的出现不仅显著降低了遥感领域大规模数据集构建的人力与时间成本,更为推动全球尺度的精准农业、环境监测与气候变化研究提供了坚实的数据基础,具有深远的科学与社会影响。
相关研究论文
  • 1
    DeepSatData: Building large scale datasets of satellite images for training machine learning models帝国理工学院 · 2021年
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务