KaoKore

KaoKore数据集是由ROIS-DS人文开放数据中心创建的，专注于从古代日本艺术作品中提取面部表情。该数据集包含5552张从16世纪至17世纪日本艺术品中提取的面部图像，每张图像均附有性别和社会地位等多标签信息。数据集的创建过程涉及利用国际图像互操作性框架（IIIF）进行大规模数字化和图像共享，确保了数据的可互操作性。KaoKore数据集不仅支持图像分类研究，还为艺术创作和生成模型提供了丰富的素材，旨在促进机器学习与日本艺术历史研究的交叉融合，解决艺术风格比较和艺术品作者鉴定等问题。

The KaoKore dataset was created by the ROIS-DS Center for Open Data in the Humanities, focusing on extracting facial expressions from ancient Japanese artworks. This dataset contains 5,552 facial images extracted from Japanese artworks dating from the 16th to 17th centuries, with each image accompanied by multi-label information such as gender and social status. The dataset creation process involved leveraging the International Image Interoperability Framework (IIIF) for large-scale digitization and image sharing, ensuring data interoperability. The KaoKore dataset not only supports image classification research but also provides rich resources for artistic creation and generative models, aiming to promote interdisciplinary integration between machine learning and Japanese art history studies, and address issues such as artistic style comparison and artwork author attribution.

搜集汇总

数据集介绍

构建方式

KaoKore数据集源于《面部表情集》（Collection of Facial Expressions），该基础资源由ROIS-DS人文开放数据中心基于IIIF（国际图像互操作框架）构建，旨在促进日本艺术史中的风格比较研究。原始数据包含从16世纪室町时代晚期至17世纪江户时代早期的日本绘画中提取的面部裁剪图像，并由艺术史专家标注了性别与社会地位等元数据。为适配机器学习社区的使用习惯，研究团队对图像进行了标准化处理，将所有裁剪面部的尺寸和长宽比统一调整为256×256像素，并采用ImageNet格式存储。同时，从原始标注中筛选出出现频率最高的四类社会地位（贵族、武士、化身、平民）与两类性别标签，剔除了样本稀少的类别以避免类别不平衡问题。最终形成包含5552张RGB图像的KaoKore数据集，并提供了官方训练集、验证集和测试集划分，便于模型性能的标准化比较。

使用方法

KaoKore数据集的使用方式灵活且标准化。在监督学习场景中，可直接加载256×256像素的RGB图像及其对应的性别（男/女）与社会地位（贵族/武士/化身/平民）标签，利用PyTorch或TensorFlow的标准数据加载器进行模型训练与评估。研究团队已提供多种经典架构（如VGG、ResNet、DenseNet、Inception-v3）的基线结果，便于新方法进行对比。在无监督与生成式学习场景中，数据集可直接作为ImageNet格式的替代资源，应用于生成对抗网络（GAN）或神经绘画模型的训练，探索艺术风格的重建与创造。此外，数据集的开源存储库还包含了官方数据划分文件与跨框架的示例代码，降低了从数据预处理到模型部署的入门门槛，使研究者能够专注于算法设计与艺术史问题的交叉探索。

背景与挑战

背景概述

KaoKore数据集由ROIS-DS人文开放数据中心（CODH）与Google Brain、剑桥大学等机构的研究人员于2020年联合创建，核心研究者包括Yingtao Tian、Chikahiko Suzuki、Tarin Clanuwat等人。该数据集聚焦于前现代日本艺术作品中面部表情的图像分类与生成研究，旨在弥补机器学习在历史日本艺术领域应用的空白。其灵感源自艺术史研究中基于面部表情的“风格比较”方法，通过从16至17世纪的日本绘画中提取5552张规范化面部图像，并标注性别与社会地位等元数据，为跨学科合作搭建桥梁。KaoKore不仅服务于艺术史中的创作者识别与时代判定，还推动了生成模型在文化遗产数字化中的探索，成为连接计算机视觉与人文学科的重要基准。

当前挑战

KaoKore数据集面临的核心挑战包括：其一，领域问题层面，面部表情分类需应对历史艺术风格的高度程式化与多样性，例如性别与地位分类任务中，模型需区分贵族、武士等细微社会身份，而传统分类器（如VGG、ResNet）的准确率尚不完美（最高96.58%），表明复杂艺术特征下的鲁棒分类仍是难题。其二，构建过程中，原始“面部表情集”采用JSON-LD格式且图像尺寸不一，需重新处理为统一256×256像素的RGB图像，并筛选高频标签（如舍弃“僧侣”等稀疏类别）以避免类别失衡，同时确保数据格式兼容PyTorch和TensorFlow框架，这增加了预处理与标准化的工作量。此外，生成模型（如StyleGAN）虽能捕获数据分布，但面对高度风格化且属性关联紧密的面部（如脸型与发型强相关），正确建模这些相关性仍是生成式研究的非平凡挑战。

常用场景

经典使用场景

在计算机视觉与数字人文交叉研究的浪潮中，KaoKore数据集以其独特的文化底蕴脱颖而出，成为连接古代日本艺术与现代机器学习技术的桥梁。该数据集最经典的使用场景当属图像分类任务，研究者利用卷积神经网络对画作中人物的性别与社会地位（贵族、武士、化身、平民）进行精准判别。诸如VGG、ResNet、Inception等经典架构在此数据集上展现了出色的性能，其中性别分类准确率可达96%以上，地位分类亦超过84%。这一场景不仅验证了深度学习在艺术图像理解中的有效性，更为艺术史学者提供了一种可量化的风格比较工具，使得大规模、系统性地分析前近代日本绘画中的人物特征成为可能。

解决学术问题

KaoKore数据集的核心学术价值在于它弥合了人文研究与机器学习之间的鸿沟，解决了艺术史领域中长期存在的“风格比较”这一关键难题。传统上，艺术史学家依赖肉眼观察与经验判断来识别画作的创作者、创作时期或画师技艺，这种方法耗时且受限于主观性。KaoKore通过提供标准化、带标注的面部图像，使得研究者能够运用监督学习模型自动识别画中人物的性别与地位，从而为“远读”式的量化分析奠定基础。此举不仅加速了比较风格学的研究进程，还推动了数字人文方法论的发展，使机器学习成为文化遗产研究不可或缺的辅助工具，其影响深远地拓展了计算机视觉在非西方艺术领域的应用边界。

实际应用

在实际应用层面，KaoKore数据集展现出超越学术研究的多元价值，尤其在创意生成与艺术创作领域大放异彩。基于该数据集训练的生成对抗网络（如StyleGAN）能够合成风格统一且细节丰富的新面孔，为数字艺术创作提供了源源不断的灵感。更令人瞩目的是，研究者利用神经绘画模型（如Intrinsic Style Transfer与Learning to Paint），将输入的面部图像转化为具有人类画家笔触的序列化绘画过程，模拟了从草图到成品的艺术创作流程。这些技术不仅可用于文化遗产的数字化修复与重现，还能辅助现代艺术家探索传统浮世绘风格的当代演绎，成为连接古典美学与人工智能创意实践的重要媒介。

数据集最近研究

最新研究方向

在数字人文与计算机视觉交叉领域，KaoKore数据集正引领着对前现代日本艺术面部表情的深度探索。该数据集从16至17世纪的日本绘卷与画本中提取面部图像，不仅为性别与社会地位分类任务提供了标准化基准，更在生成模型领域掀起创新浪潮。当前前沿研究方向聚焦于利用StyleGAN等生成对抗网络合成高保真度艺术人脸，并借助神经绘画模型（如内在风格迁移与强化学习驱动的绘画系统）模拟人类艺术家的笔触序列，将静态图像解构为动态创作过程。这一方向不仅推动了文化遗产的数字化保护，更通过与IIIF框架的融合，实现了艺术史比较研究与机器学习方法的无缝对接，为跨学科协作开辟了全新路径，其深远意义在于让算法研究直接服务于人文领域的风格溯源与作者身份鉴定。

相关研究论文

• KaoKore: A Pre-modern Japanese Art Facial Expression Dataset

  ROIS-DS 人文开放数据中心 · 2020年