遇见数据集

CyberHarem/komeiji_koishi_touhou

收藏
Hugging Face2024-01-14 更新2024-03-04 收录
官方服务:

资源简介:

这是一个名为komeiji_koishi/古明地こいし/코메이지코이시 (Touhou)的数据集,包含500张图片及其标签。图片从多个网站(如danbooru, pixiv, zerochan等)爬取,爬取系统由DeepGHS团队提供支持。数据集的核心标签包括`third_eye, hat, green_eyes, short_hair, green_hair, ribbon, black_headwear, bow, hat_ribbon, hat_bow, bangs, hair_between_eyes, yellow_bow`。此外,README还提供了不同版本的下载链接和加载原始数据集的代码示例。

本数据集名为komeiji_koishi/古明地こいし/코메이지코이시(Touhou,东方Project),包含500张图片及其标注标签。图片从多个平台(如danbooru、pixiv、zerochan等)爬取,爬取服务由DeepGHS团队提供技术支持。数据集的核心标注标签包括`第三只眼(third_eye)、帽子(hat)、绿色眼眸(green_eyes)、短发(short_hair)、绿色头发(green_hair)、缎带(ribbon)、黑色礼帽(black_headwear)、蝴蝶结(bow)、帽饰缎带(hat_ribbon)、帽饰蝴蝶结(hat_bow)、刘海(bangs)、眼间碎发(hair_between_eyes)、黄色蝴蝶结(yellow_bow)`。此外,README文档还提供了各版本的下载链接以及加载原始数据集的代码示例。

提供机构:
CyberHarem
原始信息汇总

数据集概述

数据集信息

  • 名称: komeiji_koishi/古明地こいし/코메이지코이시 (Touhou)
  • 许可证: MIT
  • 任务类别: text-to-image
  • 标签: art, not-for-all-audiences
  • 大小类别: n<1K

数据集内容

  • 图像数量: 500
  • 核心标签: third_eye, hat, green_eyes, short_hair, green_hair, ribbon, black_headwear, bow, hat_ribbon, hat_bow, bangs, hair_between_eyes, yellow_bow
  • 图像来源: 从多个网站(如danbooru, pixiv, zerochan等)爬取

数据集包列表

名称 图像数量 大小 类型 描述
raw 500 807.70 MiB Waifuc-Raw 包含元信息的原始数据(最小边对齐到1400像素,如果更大)
800 500 443.62 MiB IMG+TXT 短边不超过800像素的数据集
stage3-p480-800 1258 949.40 MiB IMG+TXT 3阶段裁剪数据集,区域不小于480x480像素
1200 500 706.47 MiB IMG+TXT 短边不超过1200像素的数据集
stage3-p480-1200 1258 1.34 GiB IMG+TXT 3阶段裁剪数据集,区域不小于480x480像素

标签聚类结果

原始文本版本

# 样本数量 图像示例 标签
0 6 1girl, :d, frilled_sleeves, green_skirt, long_sleeves, looking_at_viewer, open_mouth, solo, wide_sleeves, yellow_shirt, blouse, eyeball, frilled_shirt_collar, heart_of_string, white_background, simple_background, yellow_ribbon, blue_eyes, holding, upper_body
1 9 1girl, eyeball, green_skirt, heart_of_string, long_sleeves, looking_at_viewer, solo, wide_sleeves, :d, blush, heart-shaped_pupils, open_mouth, yellow_shirt, floral_print, frilled_sleeves
2 5 1girl, frilled_shirt_collar, frilled_sleeves, green_skirt, long_sleeves, looking_at_viewer, solo, wide_sleeves, yellow_shirt, blouse, eyeball, open_mouth, rose_print, yellow_ribbon, heart_of_string, :d, boots, brown_footwear, frilled_skirt, looking_back, medium_hair
3 13 1girl, green_skirt, heart_of_string, long_sleeves, solo, wide_sleeves, floral_print, looking_at_viewer, smile, eyeball, simple_background, white_background, frills, yellow_shirt, blush, full_body
4 16 1girl, solo, long_sleeves, skirt, smile, wide_sleeves, eyeball, shirt, heart_of_string, open_mouth, looking_at_viewer
5 5 1girl, frilled_shirt_collar, long_sleeves, looking_at_viewer, solo, upper_body, yellow_shirt, closed_mouth, frilled_sleeves, simple_background, smile, wide_sleeves, blush, collared_shirt, red_background, white_background

表格版本

# 样本数量 图像示例 1girl :d frilled_sleeves green_skirt long_sleeves looking_at_viewer open_mouth solo wide_sleeves yellow_shirt blouse eyeball frilled_shirt_collar heart_of_string white_background simple_background yellow_ribbon blue_eyes holding upper_body blush heart-shaped_pupils floral_print rose_print boots brown_footwear frilled_skirt looking_back medium_hair smile frills full_body skirt shirt closed_mouth collared_shirt red_background
0 6 X X X X X X X X X X X X X X X X X X X X
1 9 X X X X X X X X X X X X X X X
2 5 X X X X X X X X X X X X X X X X X X X X X
3 13 X X X X X X X X X X X X X X X X
4 16 X X X X X X X X X X X
5 5 X X X X X X X X X X X X X X X X
搜集汇总
数据集介绍
CyberHarem/komeiji_koishi_touhou 数据集图片
构建方式
在动漫角色数据集的构建领域,CyberHarem/komeiji_koishi_touhou 数据集专注于《东方Project》中的角色古明地恋。该数据集通过自动化爬取系统从 Danbooru、Pixiv、Zerochan 等多个知名插画网站收集图像,由 DeepGHS 团队提供技术支持。数据集共包含 500 张图像及其对应的标签,并针对角色的核心特征(如第三只眼、帽子、绿色眼睛、绿色短发等)进行了标签精简。为了适应不同应用场景,数据提供了多种预处理版本,包括原始 RAW 数据、短边不超过 800 或 1200 像素的标准化版本,以及经过三阶段裁剪、面积不小于 480×480 像素的增强版本。
特点
该数据集最为突出的特点在于其精细的标签聚类功能。通过标签聚类分析,数据集中挖掘出了多个视觉上相似的图像簇,每个簇都附带标签统计,这有助于研究者发现角色在不同画作中的常见装束与构图模式。此外,数据集提供了丰富的图像尺寸和裁剪选项,从原始元数据到标准化尺寸再到多阶段裁剪,覆盖了从模型训练到图像生成的多样化需求。所有图像均附带详细的标签信息,便于进行文本到图像生成等任务的监督学习。
使用方法
数据集的使用方式灵活多样。用户可以直接下载 RAW 版本,结合 waifuc 库通过 LocalSource 接口加载图像及其元数据,实现便捷的本地训练数据准备。对于需要标准化输入的任务,可选择 800 或 1200 像素尺寸的 IMG+TXT 版本。若需增强数据的多样性,三阶段裁剪版本提供了更多局部图像块。具体加载时,通过 Hugging Face Hub 下载压缩包,解压后使用 waifuc 的迭代器即可逐项获取图像、文件名和标签,无缝集成到现有训练流程中。
背景与挑战
背景概述
在文本到图像生成领域,高质量、精细标注的角色数据集是驱动模型学习特定视觉概念与风格的关键。CyberHarem/komeiji_koishi_touhou数据集由DeepGHS团队于近期创建,专注于收录东方Project系列中的经典角色——古明地恋(Komeiji Koishi)。该数据集的核心研究问题在于如何系统性地收集并标注二次元角色图像,以支持扩散模型等生成式模型对角色特征(如标志性的第三只眼、绿色短发与黄色蝴蝶结)的精准学习。通过从Danbooru、Pixiv等多源平台自动化爬取与清洗,该数据集为角色定制化生成任务提供了宝贵的训练资源,在动漫图像生成与个性化微调领域展现出显著的影响力。
当前挑战
该数据集面临的挑战首先体现在领域问题层面:动漫角色图像生成需解决特征一致性与风格多样性之间的平衡,例如古明地恋的多个核心标签(如“heart_of_string”、“frilled_sleeves”)在不同画师笔下呈现巨大差异,模型需学习从有限样本中泛化。在构建过程中,挑战包括:1) 多源数据爬取面临的版权与图像质量参差不齐问题,需自动化过滤低分辨率或无关图像;2) 标签体系的手工修剪与聚类分析,如从原始嘈杂标签中提取出“green_skirt”等有效描述,并剔除冗余标签;3) 数据集规模仅500张图像,远小于通用数据集,如何通过多尺度裁剪(如stage3-p480-800版本)与数据增强提升模型鲁棒性仍是一大难题。
常用场景
经典使用场景
在二次元图像生成领域,CyberHarem/komeiji_koishi_touhou 数据集专为东方Project角色古明地恋的文本到图像任务而设计。该数据集包含500张精心标注的高质量图像,涵盖角色核心特征如第三只眼、绿色短发与帽子等元素,为生成式模型提供了细粒度的视觉-语义对齐素材。研究者常利用其多分辨率版本(如800像素与1200像素)以及三级裁剪后的增强数据,训练基于扩散模型的角色定制化生成系统,实现特定角色在多样化构图与风格下的忠实再现。
实际应用
在实际应用中,该数据集赋能了二次元内容创作工具链,如辅助画师快速生成角色立绘、表情包或同人场景的初稿。基于其训练的模型可集成至数字绘画软件或社区创作平台,实现用户通过文本描述即可生成指定角色在特定姿势、服装或背景下的图像,极大降低了创作门槛。此外,该数据集支撑的自动标注系统与聚类分析技术,已被用于构建大规模角色图像库的智能索引与检索功能,提升了同人作品管理与推荐系统的效率。
衍生相关工作
该数据集衍生了一系列经典工作,包括基于Waifuc框架的自动化数据采集与处理管线,其多阶段裁剪策略被后续多个角色数据集采纳。聚类标签版本启发了标签自监督学习与视觉概念分解的研究,例如利用标签共现矩阵发现角色常见服饰搭配模式。此外,基于该数据集的角色定制化LoRA与DreamBooth微调方案,已成为二次元生成社区中复现特定画风与角色的标准范式,推动了社区驱动的模型个性化生态建设。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务