ImageNet-Paste
收藏资源简介：
ImageNet-Paste数据集通过将不同概念的小图像粘贴到ImageNet验证数据集中的每张图像上，以研究概念对在自然图像中的多模态任务准确性影响。每个ImageNet验证图像通过粘贴一个不同概念（accessory_word）的小图像进行增强，并要求模型在存在其他概念的情况下产生正确的ImageNet分类。数据集按照ImageFolder标准组织，并提供元数据CSV文件。
ImageNet-Paste dataset is constructed by pasting small images depicting distinct concepts onto each image within the ImageNet validation dataset, aiming to investigate the impact of co-occurring concept pairs on the accuracy of multimodal tasks in natural images. Each image in the ImageNet validation set is augmented by pasting a small image of a separate concept (labeled as accessory_word), and the model is required to generate the correct ImageNet classification despite the presence of additional concurrent concepts. The dataset is organized in compliance with the ImageFolder standard, and a metadata CSV file is provided.
ImageNet-Paste数据集概述
数据集简介
- 名称: ImageNet-Paste
- 用途: 通过在ImageNet验证数据集中的每张图像上粘贴不同概念的小图像，探究概念对在自然图像中对多模态任务准确性的影响。
- 创建方法: 将不同概念的小图像（
accessory_word）粘贴到ImageNet验证图像上，要求模型在存在其他概念的情况下生成正确的ImageNet分类。
数据集结构
-
组织形式: 按照ImageFolder标准实践组织，子目录名称对应于整数ImageNet类标签。
-
文件命名: 原始ImageNet文件名前添加粘贴概念的名称（
accessory_word）。 -
示例结构:
ImageNet-Paste/ ├── 000/ ├── 001/ │ ├── {accessory_word}_ILSVRC2012_val_xxxxx.jpg │ └── ... └── metadata.csv
元数据字段
id: 唯一标识符word_pair: 用于生成图像的概念对imagenet_word: 图像的ImageNet类名accessory_word: 对中的另一个词imagenet_class_int: ImageNet类整数标签imagenet_word_freq:imagenet_word在LAION-400M文本标题中的出现次数accessory_word_freq:accessory_word在预训练数据集中的出现次数pair_frequency: 预训练数据集中词对的出现次数pmi: 预训练数据集中词对的点互信息（PMI）
技术信息
- 许可证: MIT License
- 语言: 英语（en）
- 大小类别: 10K<n<100K
- 标签: clip, multimodal, compositional-generalization, image-classification, imagenet
相关论文
- 标题: Impact of Pretraining Word Co-occurrence on Compositional Generalization in Multimodal Models
- 作者: Qu, Helen and Xie, Sang Michael
- 期刊: arXiv preprint arXiv:2507.08000
- 年份: 2025
引用格式
bib @article{qu2025impact, title={Impact of Pretraining Word Co-occurrence on Compositional Generalization in Multimodal Models}, author={Qu, Helen and Xie, Sang Michael}, journal={arXiv preprint arXiv:2507.08000}, year={2025} }
