Jakaline/Danbooru2023_metadata

--- size_categories: - 1M<n<10M tags: - not-for-all-audiences --- # Danbooru2023_metadata Size: 6,391,111 (6.39M) Metadata of posts from [Danbooru](https://danbooru.donmai.us), up to post `#7042183`. Contains only active posts (see below). Also, child posts which have 'pixel-perfect_duplicate' were removed. ## Columns `id, md5, created_at, updated_at, score, up_score, down_score, rating, image_width, image_height, file_ext, parent_id, duration, pixel_hash, tag_string_general, tag_string_character, tag_string_copyright, tag_string_artist, tag_string_meta` ### Rating - `g` (general): Completely safe for work. - `s` (sensitive): Probably not safe for work. - `q` (questionable): Softcore erotica. - `e` (explicit): Hardcore erotica. Definitely not safe for work. For more information, [see link](https://danbooru.donmai.us/wiki_pages/howto:rate) ## Specifics of Danbooru ### Status Every danbooru posts could be categorized to four types of status. 1. Active: Posts that are approved by a moderator. 2. Pending: Posts that are waiting to be approved. If a post is pending for more than 3 days without a moderator's approval, the post is deleted. 3. Deleted: Posts that do not meet danbooru's standards. (Non-anime, low quality, etc) 4. Banned: Posts that are copyright-claimed or contain off-limit content. Therefore, we should only use images from active posts. (Banned posts cannot be downloaded by normal users.) Sadly, the [Danbooru2021 dataset](https://gwern.net/danbooru2021) did not filter any deleted posts, and a lot of text-to-image models were trained with deleted posts. From a total of 7,042,183 posts, there are 224,522 banned posts and 370,595 deleted posts. Deleted posts take 5.26% of the total posts, which is not trivial. Therefore, this dataset have not included them. ## Misc - If you aim to create your own anime-based image dataset from danbooru posts, you should definitely exclude posts with the following tags: `cosplay_photo third-party_edit text-only_page` - Also consider excluding posts with the following tags, if you are aiming for high quality: `photo_(medium) 3d no_humans comic` ## Other Links [Looking for parquet files?](https://huggingface.co/datasets/Jakaline/Danbooru2023_metadata/tree/refs%2Fconvert%2Fparquet/default/train) Looking for images? [nyanko7/danbooru2023](https://huggingface.co/datasets/nyanko7/danbooru2023)size_categories: - 100万条<n<1000万条 tags: - 不适合全年龄段受众（not-for-all-audiences） --- # 丹博鲁2023元数据（Danbooru2023_metadata） 数据集规模：6,391,111条（6.39M） 本数据集为来自丹博鲁（Danbooru）平台的帖子元数据，覆盖至第7042183号帖子。 本数据集仅收录活跃帖子（详见下文），同时移除了带有像素完美副本（pixel-perfect_duplicate）标签的子帖子。 ## 列字段 `id, md5, created_at, updated_at, score, up_score, down_score, rating, image_width, image_height, file_ext, parent_id, duration, pixel_hash, tag_string_general, tag_string_character, tag_string_copyright, tag_string_artist, tag_string_meta` ### 内容分级 - `g`（通用，general）：完全适合工作场合浏览。 - `s`（敏感，sensitive）：大概率不适合工作场合浏览。 - `q`（疑似，questionable）：包含软核色情内容。 - `e`（explicit，explicit）：包含硬核色情内容，绝对不适合工作场合浏览。 更多分级规则可[参阅链接](https://danbooru.donmai.us/wiki_pages/howto:rate) ## 丹博鲁平台详情 ### 帖子状态 丹博鲁平台的帖子可分为四类状态： 1. 活跃（Active）：已通过审核员批准的帖子。 2. 待审（Pending）：等待审核的帖子。若帖子待审超过3天仍未获得审核员批准，则会被删除。 3. 已删除（Deleted）：不符合丹博鲁平台规范的帖子（如非动漫类、低质量内容等）。 4. 封禁（Banned）：因版权投诉或包含违规内容被封禁的帖子。 因此，本数据集仅收录活跃帖子的相关数据（封禁帖子无法被普通用户下载）。 遗憾的是，此前的[丹博鲁2021（Danbooru2021）数据集](https://gwern.net/danbooru2021)未对已删除帖子进行过滤，且已有大量文本到图像模型使用已删除帖子进行训练。 丹博鲁平台总计7,042,183条帖子中，包含224,522条封禁帖子与370,595条已删除帖子，已删除帖子占总帖子数的5.26%，占比不容忽视，因此本数据集未收录此类帖子。 ## 其他说明 - 若你希望基于丹博鲁平台的帖子构建专属动漫图像数据集，务必排除带有以下标签的帖子：`cosplay_photo third-party_edit text-only_page` - 若你追求数据集的高质量，也可考虑排除带有以下标签的帖子：`photo_(medium) 3d no_humans comic` ## 其他链接 [需要Parquet格式文件？](https://huggingface.co/datasets/Jakaline/Danbooru2023_metadata/tree/refs%2Fconvert%2Fparquet/default/train) 需要图像数据集？可访问[nyanko7/danbooru2023](https://huggingface.co/datasets/nyanko7/danbooru2023)

原始信息汇总

Danbooru2023_metadata

概述

• 大小: 6,391,111 (6.39M)
• 来源: Danbooru
• 包含内容: 截至帖子 #7042183 的元数据，仅包含活跃帖子，移除了具有 pixel-perfect_duplicate 的子帖子。

列信息

• id, md5, created_at, updated_at, score, up_score, down_score, rating, image_width, image_height, file_ext, parent_id, duration, pixel_hash, tag_string_general, tag_string_character, tag_string_copyright, tag_string_artist, tag_string_meta

评级

• g (general): 完全适合工作环境。
• s (sensitive): 可能不适合工作环境。
• q (questionable): 软色情。
• e (explicit): 硬色情。绝对不适合工作环境。

Danbooru 帖子状态

1. Active: 由版主批准的帖子。
2. Pending: 等待批准的帖子。如果帖子在3天内未获批准，则会被删除。
3. Deleted: 不符合Danbooru标准的帖子（非动漫、低质量等）。
4. Banned: 版权声明或包含禁止内容的帖子。

其他信息

• 如果从Danbooru帖子创建自己的动漫图像数据集，应排除以下标签的帖子：cosplay_photo third-party_edit text-only_page
• 如果追求高质量，还应排除以下标签的帖子：photo_(medium) 3d no_humans comic

搜集汇总

数据集介绍

构建方式

Danbooru2023_metadata数据集源自知名动漫图像社区Danbooru，旨在提供截至第7042183号帖子的高质量元数据。构建过程中，严格筛选仅保留经版主批准的活跃帖子，剔除了被封禁、已删除及处于待审核状态的帖子，同时移除了标记为‘pixel-perfect_duplicate’的子帖子，以确保数据纯净。最终数据集包含约639万条记录，涵盖了诸如帖子ID、MD5哈希值、创建与更新时间、评分、分级、图像尺寸、文件扩展名、父级ID、像素哈希及多维度标签（如通用标签、角色、版权、艺术家和元标签）等关键字段。分级体系遵循Danbooru标准，分为通用、敏感、擦边和露骨四类，便于按内容敏感性筛选。

使用方法

使用本数据集时，用户可直接从HuggingFace平台加载Parquet格式的元数据文件，或通过链接访问关联的图像数据集nyanko7/danbooru2023以获取实际图像。建议在构建动漫图像数据集时，根据README提示排除带有‘cosplay_photo’、‘third-party_edit’和‘text-only_page’标签的帖子，以规避非核心内容。若追求更高图像质量，还可进一步过滤‘photo_(medium)’、‘3d’、‘no_humans’和‘comic’等标签。利用‘rating’字段可控制内容分级，结合‘tag_string_*’字段实现多标签分类或条件生成。数据以CSV或Parquet格式存储，兼容Pandas、Datasets等常见数据处理库，便于快速集成到训练管道中。

背景与挑战

背景概述

Danbooru2023_metadata数据集由Jakaline团队于2023年创建，源自知名动漫图像数据库Danbooru，旨在为二次元风格图像生成与多模态学习提供高质量的元数据支持。该数据集收录了截至帖子编号#7042183的6,391,111条活跃帖子元数据，涵盖评分、分级、标签等关键信息，特别剔除了被删除或封禁的低质量及违规内容。其核心研究问题在于解决现有数据集（如Danbooru2021）中混入无效数据导致模型训练偏差的痛点，通过严格筛选仅保留经审核的活跃帖子，为文本到图像生成、图像分类及标签预测等任务奠定了更纯净的数据基础。该数据集在动漫图像研究领域具有重要影响力，为后续构建高质量训练集提供了可复用的过滤范式。

当前挑战

当前数据集面临的主要挑战包括：其一，领域问题层面，动漫图像数据存在主观性强的分级系统（如敏感与露骨内容），模型需在生成安全内容与保留艺术多样性间取得平衡，而数据集虽提供元数据分级，但缺乏对标签语义冲突（如“cosplay_photo”与“3d”并存）的标准化处理，增加了模型泛化难度。其二，构建过程中，Danbooru平台帖子状态动态变化（如待审核帖子3天后自动删除），需实时追踪元数据一致性，而本数据集仅收录截至特定时间点的活跃帖子，可能遗漏后续更新的内容；同时，过滤标签（如“text-only_page”）的选取依赖领域知识，若未全面覆盖低质量特征，仍可能引入噪声，影响下游任务性能。

常用场景

经典使用场景

Danbooru2023_metadata 数据集作为大规模二次元图像注释元数据的集合，其经典使用场景在于为多模态生成模型与图像理解模型提供高质量的标注信息。研究者常利用该数据集的标签结构（如角色、版权、艺术家、通用标签）训练文本到图像生成模型，或构建图像分类、标签预测等监督学习任务。由于仅包含经审核的活跃帖子，避免了低质量或违规内容对模型训练的干扰，使得该数据集在动漫风格图像生成领域成为基准资源之一。

解决学术问题

该数据集解决了以往大规模动漫图像数据集中混入已删除或禁止帖子导致的标签噪声与内容污染问题。Danbooru2021 曾包含约5.26%的已删除帖子，这些帖子可能包含非动漫、低质量或违反版权的内容，影响模型训练的纯净度。Danbooru2023_metadata 通过严格筛选活跃帖子，为学术研究提供了更可靠的标注数据，从而提升了图像生成、多标签分类等任务的模型性能与泛化能力，也推动了动漫领域数据伦理与质量标准的进步。

实际应用

在实际应用中，Danbooru2023_metadata 常被用于构建动漫图像搜索引擎、角色识别系统以及版权内容过滤工具。开发者可基于其丰富的标签字段（如角色名、艺术家名、评分等级）实现细粒度的内容检索与推荐。此外，该数据集还支持对图像内容进行安全等级分类（如通用、敏感、露骨），在内容审核与家长控制系统中发挥关键作用，帮助平台自动识别并过滤不适宜内容。

数据集最近研究

最新研究方向

在二次元图像生成与多模态理解领域，Danbooru2023_metadata数据集的发布为高质量动漫风格数据的研究注入了新的活力。该数据集精选了超过639万条经过审核的活跃帖子元数据，剔除了被删除或封禁的低质量与侵权内容，有效规避了此前Danbooru2021数据集中混入的约5.26%违规样本所导致的模型训练偏差。当前前沿研究聚焦于利用其精细的标签体系（涵盖角色、版权、艺术家等多维度标注）推动可控图像生成、细粒度风格迁移以及基于评级的伦理安全过滤技术。特别是随着Stable Diffusion等扩散模型的普及，该数据集在提升动漫生成内容的艺术一致性与版权合规性方面展现出关键价值，成为连接社区文化与尖端AI应用的重要桥梁。