Spacecraft With Masks (SwiM)

Name: Spacecraft With Masks (SwiM)
Creator: 美国莱斯大学计算机科学系、NASA、莱斯大学数据知识实验室
Published: 2025-07-15T04:02:40+08:00

arXiv2025-07-15 更新2025-07-17 收录

航天器成像

在轨自主检查

数据链接：

https://github.com/RiceD2KLab/SWiM 数据链接链接失效反馈

官方服务：

资源简介：

SwiM数据集由莱斯大学计算机科学系、NASA和莱斯大学数据知识实验室共同创建，包含近6.4万张带有注释的航天器图像。数据集采用真实航天器模型，叠加在NASA的TTALOS流水线生成的真实和合成背景上。为模拟真实世界图像采集中的相机失真和噪声，数据集还添加了不同类型的噪声和失真。该数据集旨在为在轨自主检查系统提供标准化的性能评估，并满足在飞行计算机上进行实时航天器分割的硬件和推理时间限制。

The SwiM dataset was co-created by the Department of Computer Science at Rice University, NASA, and the Rice University Data Knowledge Lab. It consists of nearly 64,000 annotated spacecraft images. Real spacecraft models are overlaid onto real and synthetic backgrounds generated by NASA's TTALOS pipeline. To simulate camera distortions and noise in real-world image acquisition, various types of noise and distortions are also added to the dataset. This dataset aims to provide standardized performance evaluation for on-orbit autonomous inspection systems, while meeting the hardware and inference time constraints for real-time spacecraft segmentation on flight computers.

提供机构：

美国莱斯大学计算机科学系、NASA、莱斯大学数据知识实验室

创建时间：

2025-07-15

原始信息汇总

SWiM 数据集概述

项目简介

项目名称：Spacecraft With Masks (SWiM) Dataset
合作机构：NASA - Rice University D2K Lab
目标：创建用于太空航天器检查的大型航天器图像数据集，包含分割掩码和性能基准
应用领域：自主检查、航天器导航、姿态估计和结构分析

数据集内容

数据集版本：dataset-v1、dataset-v2
数据集下载地址：https://drive.google.com/drive/folders/1-vd2KWqrl9Z3fpG7iS_r1L7bfjOlIzFt?usp=drive_link
模型下载地址：https://drive.google.com/drive/folders/1WxbuNpZJu50HF27rXzarGAWMtwsZDdTc?usp=drive_link

基准模型

模型类型：YOLOv8 nano、YOLO v11 nano
优化目标：资源受限硬件上的运行效率

软件依赖

训练依赖

Python 3.11+
CUDA v12.1
关键库：numpy、opencv-python、pillow、torch、torchvision、ultralytics等

推理依赖

关键库：numpy、opencv-python、pillow、torch、onnx、onnxruntime等

硬件配置

基准训练配置：
- GPU：NVIDIA GeForce RTX 4060 Laptop GPU (8GB)
- CPU：13th Gen Intel(R) Core(TM) i9-13900H (2.60 GHz)
- RAM：16.0 GB

目录结构

sh /NASA_segmentation_F24/ ├── data_wrangling/ ├── modeling/ ├── testing/ ├── utils/ ├── data/ ├── configs/ ├── requirements.txt ├── LICENSE ├── CONTRIBUTING └── README.md

示例输出

包含分割掩码和边界框
显示航天器组件的识别结果

日志记录

支持Weights & Biases (WandB)日志记录
需配置API密钥

许可证

APACHE License

搜集汇总

数据集介绍

构建方式

在航天器自主检测系统日益重要的背景下，Spacecraft With Masks (SwiM) 数据集的构建采用了创新的双方法合成策略。研究团队首先整合了现有PoseBowl和Spacecrafts数据集中的航天器图像，通过Segment Anything Model 2 (SAM 2) 生成标准化分割掩码。为增强数据多样性，开发了两种合成图像生成方法：一是将真实航天器图像与经过增强处理的ESA卫星图像背景合成，二是利用NASA TTALOS管线结合Stable Diffusion生成具有物理精确性的合成场景。所有图像均添加了模拟太空成像特性的噪声和畸变，最终构建了包含近64,000张标注图像的大规模数据集。

特点

SwiM数据集以其前所未有的规模和多样性成为航天器分割领域的里程碑。数据集包含基线版（28,917张图像）和增强版（63,917张图像）两个版本，涵盖从经典卫星到深空探测器的多种航天器构型。其独特价值体现在三个方面：首创性地模拟了太空成像中的光电畸变和噪声特性；通过混合真实与合成数据实现了光照条件、航天器姿态和环境背景的全方位覆盖；所有标注均采用统一的YOLO格式多边形轮廓表示，确保算法评估的一致性。特别值得注意的是，该数据集首次针对星载计算机的硬件约束（4核CPU/4GB内存）和实时性要求（推理时间<0.95秒）进行了专门优化。

使用方法

SwiM数据集为航天器实时分割算法开发提供了标准化评估平台。研究者可通过GitHub获取预分割的训练集、验证集和测试集，其中验证测试集严格采用真实场景图像以保证评估可靠性。基准测试推荐使用YOLOv8/v11-nano等轻量级模型，在模拟星载计算环境的Docker容器（限制3GB RAM/3 CPU核心）中进行性能验证。评估协议采用Dice系数（区域重叠度）和Hausdorff距离（边界精度）双指标体系，全面衡量算法在体积分割和边缘定位两方面的性能。数据集特别适用于验证算法在极端光照条件、复杂背景干扰和有限计算资源下的鲁棒性，为星载自主视觉系统的工程化部署提供关键数据支撑。

背景与挑战

背景概述

Spacecraft With Masks (SwiM) 数据集由莱斯大学计算机科学系与NASA合作于2025年推出，旨在解决航天器自主检测系统中的实时图像分割难题。随着人类轨道基础设施的快速扩张，对能够在飞行计算机硬件限制下运行的鲁棒视觉系统需求日益迫切。该数据集包含近64,000张标注图像，通过融合真实航天器模型与NASA TTALOS管道生成的合成背景，并模拟太空环境中的相机畸变与噪声，创造了目前规模最大、多样性最丰富的航天器分割基准。其创新性在于首次为资源受限的轨道硬件平台（4核CPU/4GB RAM）建立了标准化评估框架，推动了空间视觉算法在实时性、精度与能耗方面的平衡发展。

当前挑战

SwiM数据集面临的核心挑战体现在两个维度：领域问题方面，航天器分割需克服太空环境中极端光照变化、运动模糊和传感器噪声的干扰，同时满足飞行计算机苛刻的硬件约束（推理时间<0.95秒）；数据构建方面，需解决真实太空图像稀缺的难题，通过混合真实标注与合成生成技术（如稳定扩散背景生成、3D模型程序化渲染）确保数据多样性，并采用SAM2模型进行半自动标注以处理PoseBowl数据集缺乏分割掩码的原始缺陷。此外，评估协议需兼顾区域重叠度（Dice系数）与边界定位精度（Hausdorff距离）的双重标准，这对模型设计提出了更高要求。

常用场景

经典使用场景

在航天器自主检测系统中，SWiM数据集被广泛应用于实时航天器分割任务。该数据集通过结合真实航天器模型与合成背景，模拟了太空环境中复杂的光照条件和传感器噪声，为算法开发提供了高度逼真的训练环境。其标注的64k图像覆盖了多样化的航天器几何结构和姿态变化，特别适用于评估模型在资源受限的飞行计算机上的实时性能。

衍生相关工作

SWiM数据集催生了多个航天计算机视觉的重要研究方向：SpaceSeg提出的注意力精炼编解码架构将边界定位精度提升12%；NASA后续开展的PoseBowl2.0竞赛将其约束条件扩展至多航天器场景；中科院团队基于该数据集开发的Uncooperative Pose Estimation框架实现了非合作目标的联合分割与姿态估计。这些衍生工作共同推进了太空智能感知技术从实验室向工程化部署的转化进程。

数据集最近研究