ADE20K-Seq|图像分割数据集|序列图像处理数据集

arXiv2024-12-13 更新2024-12-25 收录

图像分割

序列图像处理

下载链接：

http://arxiv.org/abs/2412.10224v1

下载链接

链接失效反馈

资源简介：

ADE20K-Seq数据集是由ADE20K数据集扩展而来，专门用于评估序列图像的交互式分割任务。该数据集包含七个不同类别的任务，每个类别包含超过100张图像，涵盖了从大型物体到小型物体的广泛类别。数据集的创建旨在解决现有数据集在处理序列图像时的不足，特别是缺乏对序列信息的利用。通过标注任务级别的点击和掩码信息，ADE20K-Seq数据集为模型提供了丰富的上下文信息，适用于评估模型在交互式图像分割中的表现，尤其是在处理连续图像序列时的准确性和效率。

提供机构：

中国科学院计算技术研究所

创建时间：

2024-12-13

AI搜集汇总

数据集介绍

构建方式

ADE20K-Seq数据集的构建基于ADE20K数据集，旨在支持序列图像的交互式分割任务。研究者从ADE20K数据集中随机选择了七个不同类别的任务，每个类别包含超过100张图像，并对其进行了任务级别的标注。通过这种方式，ADE20K-Seq数据集成为了首个专注于同一类别序列图像交互式分割的基准数据集，填补了现有数据集在序列图像处理方面的空白。

使用方法

ADE20K-Seq数据集的使用方法主要围绕序列图像的交互式分割任务展开。研究者可以通过输入一系列包含同一类别物体的图像、用户点击信息以及预测的分割掩码，利用Sequence Prompt Transformer (SPT)模型进行分割。SPT模型通过Top-k Prompt Selection (TPS)模块选择最相似的图像作为提示，从而优化分割结果。此外，数据集还可用于评估模型在不同类别和场景下的泛化能力，通过对比不同方法在ADE20K-Seq上的表现，验证模型在处理序列图像时的有效性和鲁棒性。

背景与挑战

背景概述

ADE20K-Seq数据集是由蚂蚁集团和中国科学院计算技术研究所的研究团队于2024年提出的，旨在解决交互式图像分割中的序列图像处理问题。该数据集基于ADE20K数据集扩展而来，专注于同一类别目标对象在序列图像中的分割任务。通过引入序列提示变换器（SPT）和Top-k提示选择（TPS）模块，研究团队成功提升了交互式分割的准确性。ADE20K-Seq的推出填补了现有数据集在序列图像分割领域的空白，为相关研究提供了重要的基准支持。

当前挑战

ADE20K-Seq数据集面临的挑战主要体现在两个方面。首先，在领域问题方面，现有的交互式分割方法通常仅处理单张图像，无法有效利用序列图像中的上下文信息，导致在处理同一类别目标对象时精度不足。其次，在数据集构建过程中，如何从大量序列图像中筛选出最具代表性的提示信息，并确保标注的一致性和准确性，是研究团队面临的主要技术难题。此外，序列图像的时间与场景不一致性也增加了数据处理的复杂性，使得传统的视频分割方法难以直接应用。

常用场景

经典使用场景

ADE20K-Seq数据集在交互式图像分割领域具有重要应用，特别是在处理一系列包含相同目标对象的图像时。该数据集通过提供序列化的图像、用户点击和掩码信息，使得模型能够利用前序图像中的上下文信息，从而提升分割的准确性。经典的使用场景包括对车辆窗户、猫耳朵、人手等特定对象的连续分割任务，模型通过序列提示变换器（SPT）和Top-k提示选择（TPS）模块，能够更精确地捕捉目标对象的边界和细节。

解决学术问题

ADE20K-Seq数据集解决了传统交互式图像分割方法在处理序列图像时的局限性。传统方法通常仅针对单张图像进行处理，忽略了序列图像之间的关联性，导致分割结果不够精确且效率低下。该数据集通过引入序列提示变换器（SPT）和Top-k提示选择（TPS），有效利用序列图像中的上下文信息，显著提升了分割的准确性和效率。这一创新为交互式图像分割领域提供了新的研究方向，推动了该领域的技术进步。

实际应用

ADE20K-Seq数据集在实际应用中具有广泛的价值，特别是在需要连续分割同一对象的场景中。例如，在自动驾驶领域，该数据集可用于精确分割车辆的不同部件，如车窗、车灯等，从而提升自动驾驶系统的感知能力。此外，在医学图像分析中，该数据集可用于连续分割同一器官或病变区域，辅助医生进行更精准的诊断和治疗规划。其高效的序列处理能力也为视频编辑、图像标注等任务提供了强大的技术支持。

数据集最近研究

相关研究论文

1
SPT: Sequence Prompt Transformer for Interactive Image Segmentation中国科学院计算技术研究所 · 2024年

以上内容由AI搜集并总结生成

用户留言

有没有相关的论文或文献参考？

这个数据集是基于什么背景创建的？

数据集的作者是谁？

能帮我联系到这个数据集的作者吗？

这个数据集如何下载？

点击留言

数据主题

具身智能

数据集 4098个

机构 8个

大模型

数据集 439个

机构 10个

无人机

数据集 37个

机构 6个

指令微调

数据集 36个

机构 6个

蛋白质结构

数据集 50个

机构 8个

空间智能

数据集 21个

机构 5个

5,000+

优质数据集

54 个

任务类型

进入经典数据集

热门数据集

中国农村金融统计数据

该数据集包含了中国农村金融的统计信息，涵盖了农村金融机构的数量、贷款余额、存款余额、金融服务覆盖率等关键指标。数据按年度和地区分类，提供了详细的农村金融发展状况。

www.pbc.gov.cn 收录

中国1km分辨率逐月降水量数据集（1901-2023）

该数据集为中国逐月降水量数据，空间分辨率为0.0083333°（约1km），时间为1901.1-2023.12。数据格式为NETCDF，即.nc格式。该数据集是根据CRU发布的全球0.5°气候数据集以及WorldClim发布的全球高分辨率气候数据集，通过Delta空间降尺度方案在中国降尺度生成的。并且，使用496个独立气象观测点数据进行验证，验证结果可信。本数据集包含的地理空间范围是全国主要陆地（包含港澳台地区），不含南海岛礁等区域。为了便于存储，数据均为int16型存于nc文件中，降水单位为0.1mm。 nc数据可使用ArcMAP软件打开制图; 并可用Matlab软件进行提取处理，Matlab发布了读入与存储nc文件的函数，读取函数为ncread，切换到nc文件存储文件夹，语句表达为：ncread (‘XXX.nc’,‘var’, [i j t],[leni lenj lent])，其中XXX.nc为文件名，为字符串需要’’；var是从XXX.nc中读取的变量名，为字符串需要’’；i、j、t分别为读取数据的起始行、列、时间，leni、lenj、lent i分别为在行、列、时间维度上读取的长度。这样，研究区内任何地区、任何时间段均可用此函数读取。Matlab的help里面有很多关于nc数据的命令，可查看。数据坐标系统建议使用WGS84。

国家青藏高原科学数据中心收录

LibriSpeech

LibriSpeech 是一个大约 1000 小时的 16kHz 英语朗读语音语料库，由 Vassil Panayotov 在 Daniel Povey 的协助下编写。数据来自 LibriVox 项目的已读有声读物，并经过仔细分割和对齐。

OpenDataLab 收录

URPC系列数据集, S-URPC2019, UDD

URPC系列数据集包括URPC2017至URPC2020DL，主要用于水下目标的检测和分类。S-URPC2019专注于水下环境的特定检测任务。UDD数据集信息未在README中详细描述。

github 收录

AgiBot World

为了进一步推动通用具身智能领域研究进展，让高质量机器人数据触手可及，作为上海模塑申城语料普惠计划中的一份子，智元机器人携手上海人工智能实验室、国家地方共建人形机器人创新中心以及上海库帕思，重磅发布全球首个基于全域真实场景、全能硬件平台、全程质量把控的百万真机数据集开源项目 AgiBot World。这一里程碑式的开源项目，旨在构建国际领先的开源技术底座，标志着具身智能领域「ImageNet 时刻」已到来。AgiBot World 是全球首个基于全域真实场景、全能硬件平台、全程质量把控的大规模机器人数据集。相比于 Google 开源的 Open X-Embodiment 数据集，AgiBot World 的长程数据规模高出 10 倍，场景范围覆盖面扩大 100 倍，数据质量从实验室级上升到工业级标准。AgiBot World 数据集收录了八十余种日常生活中的多样化技能，从抓取、放置、推、拉等基础操作，到搅拌、折叠、熨烫等精细长程、双臂协同复杂交互，几乎涵盖了日常生活所需的绝大多数动作需求。

github 收录