lodestone-horizon/pixelprose

PixelProse是一个包含超过1600万条合成生成的图像描述的综合数据集，这些描述利用了先进的视觉语言模型（如Gemini 1.0 Pro Vision）来生成详细和准确的描述。数据集包括多个列，如唯一标识符、图像URL、原始描述、模型生成的密集描述、毒性评分等。数据集的结构详细，提供了丰富的信息用于图像到文本、文本到图像和视觉问答等任务。

PixelProse is a comprehensive dataset of over 16 million synthetically generated captions, leveraging cutting-edge vision-language models (such as Gemini 1.0 Pro Vision) for detailed and accurate descriptions. The dataset includes multiple columns such as unique identifier, image URL, original caption, model-generated dense caption, toxicity scores, etc. The dataset is structured in detail, providing rich information for tasks such as image-to-text, text-to-image, and visual question answering.

原始信息汇总

PixelProse 数据集概述

数据集基本信息

• 名称: PixelProse
• 许可证: CC BY 4.0
• 任务类别:
  • 图像到文本
  • 文本到图像
  • 视觉问答
• 语言: 英语
• 标签: croissant
• 大小: 10M < n < 100M

数据集配置

• 配置名称: default
• 数据文件:
  • 训练集: data/vlm_captions_*.parquet
  • CC12M: data/vlm_captions_cc12m_*.parquet
  • RedCaps: data/vlm_captions_redcaps_*.parquet

数据集详情

• 总图像-文本对数: 16,896,423 (16.9M)
  • CommonPool: 6,539,107 (6.5M) 对
  • CC12M: 9,066,455 (9.1M) 对
  • RedCaps: 1,290,861 (1.3M) 对

数据集结构

• 列信息:
  • uid: 图像的唯一标识符
  • url: 图像的URL
  • key: 图像关联的键
  • status: vlm_model返回的运行状态
  • original_caption: 从源继承的原始描述
  • vlm_model: 用于生成描述的模型
  • vlm_caption: PixelProse的密集描述
  • toxicity: 描述的毒性评分
  • severe_toxicity: 描述的严重毒性评分
  • obscene: 描述的猥亵评分
  • identity_attack: 描述的身份攻击评分
  • insult: 描述的侮辱评分
  • threat: 描述的威胁评分
  • sexual_explicit: 描述的性显式评分
  • watermark_class_id: 水印分类 (0 = 带水印的图像, 1 = 无水印的图像, 2 = 无水印但有文本的图像)
  • watermark_class_score: 每个水印类别的预测分数，范围为 [0, 1]
  • aesthetic_score: 美学评分，范围为 [0, 10]
  • error_message: vlm_model返回的错误信息
  • width / height: 用于运行vlm_model的图像尺寸
  • original_width / original_height: 图像的原始尺寸
  • exif: 图像文件的EXIF信息
  • sha256: 图像文件的SHA256哈希
  • image_id, author, subreddit, score: 从RedCaps继承的属性，CC12M和CommonPool中不可用

搜集汇总

数据集介绍

构建方式

PixelProse是一个大规模图像描述数据集，包含超过1600万对由尖端视觉语言模型（Gemini 1.0 Pro Vision）自动生成的密集描述。该数据集整合了来自CommonPool、CC12M和RedCaps三个公开数据源的图像，通过统一调用Gemini模型为每张图像生成详细且准确的文字描述，从而构建出高质量、高密度的图像-文本对。数据以Parquet格式存储，便于高效读取和处理。

特点

该数据集的核心特点在于其规模和丰富的元信息。除了图像URL和生成的描述外，PixelProse还提供了原始描述、毒性评分（包括严重毒性、淫秽、身份攻击等维度）、水印分类、美学评分、图像尺寸、EXIF信息以及SHA256哈希值等多项辅助字段。这些元数据使得数据集不仅适用于图像描述生成，还可用于视觉问答、图像生成、内容审核和图像质量评估等多任务研究。

使用方法

用户可通过Hugging Face的datasets库便捷加载数据，支持按整体或按子集（CommonPool、CC12M、RedCaps）分别下载。加载后的数据集以DataFrame形式呈现，可直接用于模型训练或评估。对于图像下载，推荐结合img2dataset工具从URL批量获取原始图片。此外，用户也可通过Hugging Face仓库中的data目录直接下载Parquet文件进行离线处理。

背景与挑战

背景概述

在视觉语言模型迅猛发展的今天，高质量、密集描述的图像-文本配对数据成为推动多模态智能进步的关键基石。PixelProse数据集由马里兰大学与匹兹堡大学等机构的研究人员于2024年联合创建，旨在突破传统图像描述数据集（如CC12M、RedCaps）描述稀疏、语义浅显的局限。该数据集汇聚超过1690万对合成生成的密集描述，借助Gemini 1.0 Pro Vision等前沿视觉语言模型，为每幅图像生成富含细节与上下文信息的文本，显著提升了描述的质量与信息密度。PixelProse的诞生不仅为图像描述、文本到图像生成及视觉问答等任务提供了大规模、高质量的基准资源，更通过其丰富的元数据（如美学评分、毒性检测、水印分类）推动了数据伦理与质量评估的研究，对多模态领域产生了深远影响。

当前挑战

PixelProse所应对的核心领域挑战在于解决传统图像描述数据集描述过于简略、缺乏细节与上下文的问题，从而提升视觉语言模型对复杂场景的理解与生成能力。构建过程中面临多重挑战：首先，需从CommonPool、CC12M和RedCaps三个异构来源整合超过1600万张图像，处理格式、元数据与标注不一致的难题；其次，依赖Gemini 1.0 Pro Vision等模型生成密集描述时，需确保输出的准确性、多样性与低毒性，这要求设计精密的提示策略与后处理流程；再者，数据清洗环节需过滤低质量、含暴力或色情内容的样本，并通过毒性评分、水印分类等机制实现自动化筛选；最后，大规模数据存储与分发（如Parquet文件格式的优化）及用户便捷下载（支持HuggingFace API与img2dataset工具）也构成了工程层面的显著挑战。

常用场景

经典使用场景

PixelProse数据集以其超过1600万对合成生成的密集图像-文本对而闻名，其经典使用场景集中于视觉语言模型的预训练与微调。研究者常利用该数据集训练图像描述生成模型，通过Gemini 1.0 Pro Vision生成的详细且准确的描述，提升模型对复杂视觉场景的理解与表达能力。此外，该数据集也广泛用于文本到图像生成任务，为模型提供丰富的语义锚点，从而生成更符合人类预期的视觉内容。其多源数据（CommonPool、CC12M、RedCaps）的整合，使得模型能够在多样化场景下进行泛化学习，成为视觉语言领域基础模型训练的基石。

解决学术问题

PixelProse有效解决了视觉语言模型中密集图像描述数据匮乏的学术难题。传统数据集如COCO Captions通常包含简短或稀疏的文本描述，难以捕捉图像中的细微语义与复杂关系。PixelProse通过合成生成技术，为每幅图像提供丰富、连贯且结构化的描述，显著提升了模型在细粒度视觉推理任务中的表现。该数据集还助力于多模态对齐研究，解决了跨模态表征学习中语义鸿沟问题，推动了图像理解从简单分类走向深度叙事，为视觉问答、图像检索等下游任务提供了更坚实的训练基础。

衍生相关工作

PixelProse的发布催生了多项经典研究工作，尤其在视觉语言模型的鲁棒性与公平性评估方面。研究者基于该数据集开发了新的基准测试，用于衡量模型对密集描述的生成质量与毒性检测能力。此外，PixelProse中的水印分类与美学评分字段启发了多篇关于图像质量过滤与版权保护的研究论文。其合成数据生成范式也被后续工作借鉴，如用于构建多语言图像描述数据集或特定领域（如医学影像）的视觉语言资源，进一步拓展了数据驱动方法的边界。