有没有相关的论文或文献参考？
这个数据集是基于什么背景创建的？
数据集的作者是谁？
能帮我联系到这个数据集的作者吗？
这个数据集如何下载？
jpft/danbooru2023|动漫图像数据集|计算机视觉数据集
收藏hugging_face2024-01-11 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/jpft/danbooru2023
下载链接
链接失效反馈资源简介：
Danbooru2023是一个大规模的动漫图像数据集，包含超过500万张由爱好者社区贡献并详细标注的图像。图像标签涵盖角色、场景、版权、艺术家等方面，平均每张图像有30个标签。该数据集可用于训练图像分类、多标签标注、角色检测、生成模型等多种计算机视觉任务。数据集基于danbooru2021构建，扩展至包含ID #6,857,737的图像，增加了超过180万张新图像，总大小约为8TB。图像以原始格式提供，分为1000个子目录，使用图像ID的模1000进行分桶，以避免文件系统性能问题。
提供机构：
jpft
原始信息汇总
Danbooru2023 数据集概述
基本信息
- 名称： Danbooru2023
- 类型： 动漫图像数据集
- 图像数量： 超过500万张
- 标签数量： 平均每张图像30个标签
- 语言： 英语、日语
- 许可证： MIT
- 共享者： Nyanko Devs
数据集描述
Danbooru2023是一个大规模的动漫图像数据集，由爱好者社区贡献并详细标注。图像标签涵盖角色、场景、版权、艺术家等方面。该数据集可用于训练图像分类、多标签标注、角色检测、生成模型等计算机视觉任务。
数据集扩展
该数据集基于danbooru2021构建，扩展至包含ID #6,857,737的图像，新增超过180万张图像，总大小约为8TB（8000GB）。
数据格式
图像以原始格式（JPG、PNG、GIF等）提供，便于参考和存档。图像被分桶到1000个子目录（0000-0999），这是Danbooru ID对1000取模的结果。文件布局如下：
bash / ├── danbooru2023 -> /mnt/diffusionstorage/workspace/danbooru/ │ ├── metadata │ ├── readme.md │ ├── original │ │ ├── 0000 -> data-0000.tar │ │ ├── 0001 -> data-0001.tar │ │ │ ├── 10001.jpg │ │ │ ├── 210001.png │ │ │ ├── 3120001.webp │ │ │ ├── 6513001.jpg
当前支持的文件扩展名包括：avi/bmp/gif/html/jpeg/jpg/mp3/mp4/mpg/pdf/png/rar/swf/webm/wmv/zip。
原始文件可能存在一些问题，如截断、非sRGB色彩空间、错误的文件扩展名等。在使用原始数据集时需谨慎。
AI搜集汇总
数据集介绍
构建方式
Danbooru2023数据集是在danbooru2021的基础上构建的，通过社区爱好者的共同努力，对超过500万张动漫图像进行了详细标注。该数据集的构建不仅涵盖了动漫角色、场景、版权、艺术家等多个维度的标签，而且每张图像平均拥有30个标签，从而为图像分类、多标签标注、角色检测、生成模型等计算机视觉任务提供了丰富的训练资源。
特点
该数据集的特点在于其规模宏大，多样性丰富，包含了高达ID #6,857,737的图像，新增了超过180万张图像，总数据量达到了约8太字节。其标签系统的详尽程度使得数据集在动漫领域具有较高的参考价值。此外，数据集遵循MIT许可，保证了使用的灵活性。
使用方法
在使用Danbooru2023数据集时，用户可以方便地获取原始图像，这些图像以JPG、PNG、GIF等格式存储，并分布在1000个子目录中。每个子目录的命名是根据图像ID除以1000得到的余数进行命名的。这种目录结构的设计旨在避免单个目录的性能问题，并确保图像的均匀分布。用户可以通过简单的路径转换操作，快速定位到所需的图像文件。
背景与挑战
背景概述
Danbooru2023是一个由动漫爱好者社区贡献和详细标注的大型动漫图像数据集，拥有超过500万张图像。该数据集的图像标签涵盖了角色、场景、版权、艺术家等多个方面，平均每张图像有30个标签。Danbooru作为一个资深的动漫图片版，以其高质量的图像和详尽的标签元数据而闻名。该数据集可用于训练图像分类、多标签标注、角色检测、生成模型等计算机视觉任务。Danbooru2023是在danbooru2021的基础上构建的，扩展了数据集范围，新增了超过180万张图像，总数据量达到了约8太字节。该数据集由Nyanko Devs共享，支持英语和日语两种语言，并遵循MIT许可。
当前挑战
Danbooru2023在构建过程中面临了多个挑战。首先，数据集的规模庞大，导致文件系统性能问题。为了解决这一问题，图像被分散存储在1000个子目录中，以均匀分配文件并优化读取效率。其次，原始文件格式多样，存在一些非标准文件，如截断文件、非sRGB色彩空间的文件以及文件扩展名不正确的情况，这为数据集的处理和使用增加了难度。此外，数据集的多标签特性和高质量的图像要求，也为相关任务的算法研究和模型训练带来了挑战。
常用场景
经典使用场景
在深入探索计算机视觉领域的过程中，Danbooru2023数据集以其丰富的图像资源和详尽的标签信息，成为研究者的优选工具。该数据集广泛应用于图像分类、多标签标注、角色检测以及生成模型等任务中，其经典的使用场景包括利用其海量的图像数据对深度学习模型进行训练，以及通过其标签系统进行图像内容的精细化管理。
实际应用
在实际应用方面，Danbooru2023数据集的图像和标签被广泛用于动漫内容的推荐系统、版权管理、以及内容审核等领域。其丰富的标签信息使得自动化处理和智能分析成为可能，极大地提升了相关行业的工作效率。
衍生相关工作
基于Danbooru2023数据集，学术界和工业界衍生出了众多经典工作。研究者们不仅在此基础上训练出了高性能的图像识别模型，还探索了图像生成、风格迁移等前沿领域，推动了计算机视觉和相关应用技术的发展。
以上内容由AI搜集并总结生成
数据主题
5,000+
优质数据集
54 个
任务类型
进入经典数据集
热门数据集
Dunhuang Grottoes Painting Dataset
该数据集专为敦煌石窟壁画修复而设计，提供了大量的训练和测试样本，足以支持深度学习方法的应用。
arXiv 收录
China Health and Nutrition Survey (CHNS)
China Health and Nutrition Survey（CHNS）是一项由美国北卡罗来纳大学人口中心与中国疾病预防控制中心营养与健康所合作开展的长期开放性队列研究项目，旨在评估国家和地方政府的健康、营养与家庭计划政策对人群健康和营养状况的影响，以及社会经济转型对居民健康行为和健康结果的作用。该调查覆盖中国15个省份和直辖市的约7200户家庭、超过30000名个体，采用多阶段随机抽样方法，收集了家庭、个体以及社区层面的详细数据，包括饮食、健康、经济和社会因素等信息。自2011年起，CHNS不断扩展，新增多个城市和省份，并持续完善纵向数据链接，为研究中国社会经济变化与健康营养的动态关系提供了重要的数据支持。
www.cpc.unc.edu 收录
AerialMegaDepth
AerialMegaDepth数据集是由卡内基梅隆大学研究者创建的，该数据集结合了伪合成渲染和真实地面图像，旨在推进从地面和空中视角的图像中学习几何重建和视图合成任务。数据集通过将3D城市级网格的伪合成渲染与来自MegaDepth的真实地面级图像在统一坐标系中注册，包含了137个地标和132,137个地理注册图像。该数据集在具有挑战性的地面-空中场景中，显著提高了基于学习的方法在多视图几何预测和新型视图合成任务上的性能。
arXiv 收录
ELSA
ELSA（English Longitudinal Study of Ageing）是一个纵向研究项目，旨在调查英国50岁及以上人群的健康、经济状况和社会关系。数据集包括参与者的健康状况、生活方式、经济状况、社会网络等多方面的信息。
www.elsa-project.ac.uk 收录
FishBase Species List
FishBase Species List 是一个包含全球鱼类物种信息的全面数据库。该数据集提供了关于鱼类物种的详细信息，包括物种名称、分类学信息、分布区域、生态习性、繁殖行为、食性等。此外，数据集还包括了每个物种的图片和参考文献，以便用户进行深入研究。
www.fishbase.se 收录