SuperWikiImage-7M
收藏资源简介：
SuperWikiImages-7M 是一个从维基百科抓取的大规模图像数据集，总计约15TiB，包含约700万张图像。该数据集由KaraKaraWitch策划，并由Recursal.ai资助。它支持多种任务，包括图像分类、图像到文本、文本到图像和图像到图像。数据集是多语言的，涵盖了来自各种维基百科版本的广泛语言。图像经过筛选，仅包括具有特定文件扩展名（jpeg、jpg、png）的图像，并通过文件名进行去重。数据集包含多种许可证，如果图像的许可证不明确或属于黑名单，则会被移除。该数据集设计为与WebDataset格式兼容，便于在机器学习任务中加载和使用。
SuperWikiImages-7M is a large-scale image dataset crawled from Wikipedia, with a total size of approximately 15 TiB and containing around 7 million images. This dataset was curated by KaraKaraWitch and funded by Recursal.ai. It supports a variety of machine learning tasks including image classification, image-to-text, text-to-image, and image-to-image. The dataset is multilingual, covering a wide range of languages from various Wikipedia editions. Images were filtered to only include those with specific file extensions (jpeg, jpg, png), and deduplicated based on their filenames. The dataset includes multiple license types, and any images with unclear licenses or on the blacklist will be removed. This dataset is designed to be compatible with the WebDataset format, facilitating loading and utilization in machine learning tasks.
SuperWikiImage-7M 数据集概述
数据集描述
- 名称: SuperWikiImages-7M
- 大小: 约15TiB
- 图像数量: 约700万张
- 来源: 从维基百科中抓取的图像
- 语言: 多语言，涵盖多种语言的维基百科
- 任务类别:
- 图像分类
- 图像到文本
- 文本到图像
- 图像到图像
- 任务ID:
- 语言建模
- 掩码语言建模
- 数据格式: WebDataset
- 许可证: 混合许可证，具体见下文
语言列表
- af, ar, ast, az, be, bg, bn, ca, ce, cs, cy, da, de, el, en, eo, es, et, eu, fa, fi, fr, gl, he, hi, hr, hu, hy, id, it, ja, ka, kk, ko, la, lt, lv, mk, ms, my, nl, nn, no, pl, pt, ro, ru, sh, sk, sl, sr, sv, ta, tg, th, tr, uk, ur, uz, vi, zh
数据集来源
数据集筛选过程
- 从维基百科的dump文件中提取所有图像
- 仅保留以
.jpeg,.jpg,.png结尾的图像 - 通过文件名去重
- 删除没有语言描述的图像
- 从维基百科下载图像（过程较慢）
- 编译成WebDataset格式
使用示例
python import webdataset as wds
tar_root = "... chunk_00/wiki_images-0000.tar" hf_dataset = wds.WebDataset(str(tar_root)).decode("pil") for i in hf_dataset: print(i)
许可证
- 许可证类型: 混合许可证
- 许可证列表:
- attribution
- cc by
- cc sa
- cc-by
- cc0
- C0 1.0
- fal
- Nagi BY SA
- No restrictions
- pdm-
- public domain
- Share Alike
- dl-de/by-2-0
- dl-de/zero-2-0
- AGPL
- apache
- APSL
- Artistic 2.0
- bsd
- BSL
- CeCILL
- EPL
- FWL
- GFDL
- gpl
- lgpl
- LPL
- LPPL
- mit
- MPL
- NetHack GPL
- OFL
- OGL
- OPL 3.0
- OSPL
- PostgreSQL License
- WTFPL
- ZLIB
- ODbL
- OS OpenData
- Geoportal
- DGA Map
- StatCanOpen
- CDDL
- EdictGov-India
- GODL-India
- KOGL Type 1
- KOGL Type-1
- KoreaGov
- LGACDMX
- Licence Ouverte
- OGDL
- 정보공유라이선스 2.0: 허용
- copyrighted free use
- Open data
数据集创建者
- 创建者: KaraKaraWitch
- 资助者: Recursal.ai
