Voxel51/ImageNet-D
收藏资源简介：
ImageNet-D是一个使用扩散模型生成的合成图像数据集，旨在测试视觉模型的鲁棒性。该数据集包含4835个样本，这些样本导致多种视觉模型（如ResNet、ViT、CLIP、LLaVa和MiniGPT-4）的准确率显著下降。数据集的创建过程包括图像生成、提示设计和自动标注。图像生成使用Stable Diffusion模型，通过用户定义的文本提示生成高保真图像。提示设计覆盖了多种对象类别和干扰属性的组合。每个生成的图像都自动标注了对象类别，作为评估分类模型的真实标签。数据集的使用需要安装FiftyOne库，并通过Hugging Face Hub加载。
ImageNet-D is a new benchmark created using diffusion models to generate realistic synthetic images with diverse backgrounds, textures, and materials. The dataset contains 4,835 hard images that cause significant accuracy drops of up to 60% for a range of vision models. The creation process involves generating a large pool of synthetic images using the Stable Diffusion model, combining object categories with various nuisance attributes, and using Amazon Mechanical Turk for human labeling to ensure image quality and validity. Experiments show that ImageNet-D reveals significant robustness gaps in current vision models and that these synthetic images transfer well to unseen models, uncovering common failure modes.
ImageNet-D 数据集概述
基本信息
- 数据集名称: ImageNet-D
- 语言: 英语
- 样本数量: 4838
- 任务类别: 图像分类
- 标签: fiftyone, image, image-classification, synthetic
数据集描述
ImageNet-D 是一个使用扩散模型生成的新基准数据集，旨在生成具有多样背景、纹理和材料的逼真合成图像。该数据集包含 4835 张困难图像，这些图像导致多种视觉模型（如 ResNet、ViT、CLIP、LLaVa 和 MiniGPT-4）的准确率下降高达 60%。
数据集创建过程
- 图像生成: 使用 Stable Diffusion 模型生成高保真图像，基于用户定义的文本提示，指定对象类别和干扰属性。
- 提示设计: 设计了一系列提示，涵盖对象类别和干扰属性的矩阵组合。
- 标注: 每个生成的图像自动标注其对象类别，作为分类模型的评估基准。
数据集特点
- 挑战性: 揭示了当前视觉模型在鲁棒性方面的显著差距。
- 多样性: 提供了比现有合成基准（如 ImageNet-C、ImageNet-9 和 Stylized ImageNet）更广泛和更具挑战性的测试集。
数据来源
- 数据生产者: Chenshuang Zhang, Fei Pan, Junmo Kim, In So Kweon, Chengzhi Mao
- 资助机构: KAIST, University of Michigan, Ann Arbor, McGill University, MILA
- 许可证: MIT License
引用
bibtex @article{zhang2024imagenet_d, author = {Zhang, Chenshuang and Pan, Fei and Kim, Junmo and Kweon, In So and Mao, Chengzhi}, title = {ImageNet-D: Benchmarking Neural Network Robustness on Diffusion Synthetic Object}, journal = {CVPR}, year = {2024}, }
