EMONET-FACE

EMONET-FACE是一个由专家注释的合成情绪识别基准数据集，包含一个新颖的40类情绪分类法，覆盖了更广泛和更详细的人类情感状态。该数据集由三个大规模的AI生成的数据集组成，具有明确的、完整的面部表情和跨种族、年龄和性别的控制人口平衡。EMONET-FACE BIG包含超过203,000张图像，EMONET-FACE BINARY包含近20,000张图像，EMONET-FACE HQ包含2,500张图像。这些数据集通过专家进行严格的注释，以确保高质量的训练和评估。此外，还构建了EMPATHICINSIGHT-FACE模型，在EMONET-FACE HQ基准上实现了人类专家水平的性能。该数据集旨在为开发和评估具有更深层次理解人类情感的AI系统提供坚实的基础。EMONET-FACE is an expert-annotated synthetic emotion recognition benchmark dataset that features a novel 40-category emotion taxonomy, covering a broader and more detailed spectrum of human emotional states. This dataset comprises three large-scale AI-generated datasets with well-defined and comprehensive facial expressions, as well as controlled demographic balance across race, age, and gender. EMONET-FACE BIG contains over 203,000 images, EMONET-FACE BINARY contains nearly 20,000 images, and EMONET-FACE HQ contains 2,500 images. All these datasets undergo rigorous expert annotation to ensure high-quality training and evaluation. Additionally, the EMPATHICINSIGHT-FACE model was developed, achieving human-expert-level performance on the EMONET-FACE HQ benchmark. This dataset aims to provide a solid foundation for developing and evaluating AI systems with deeper understanding of human emotions.

搜集汇总

数据集介绍

构建方式

EMONET-FACE数据集通过多阶段流程构建，旨在解决现有情感识别数据集的局限性。首先，研究团队开发了一个包含40种情感类别的精细分类法，基于心理学基础研究，涵盖了从基本情感到复杂社会状态的广泛谱系。随后，利用先进的文本到图像生成模型（如MidJourney v6和Flux-Dev）创建了结构化、人口统计学平衡的高质量合成图像数据集。为确保数据质量，所有图像均经过人工筛选，剔除存在视觉伪影或表情模糊的样本。数据标注过程由心理学专家团队完成，采用连续评分和二进制标注协议，确保情感标签的精确性和一致性。最终形成了三个子集：包含203,201张图像的预训练集（EMONET-FACE BIG）、19,999张图像的微调集（EMONET-FACE BINARY）以及2,500张图像的基准测试集（EMONET-FACE HQ）。

特点

EMONET-FACE数据集具有多项显著特征：其创新性的40维情感分类体系突破了传统基本情绪模型的局限，纳入了如'苦涩'、'陶醉'等细腻状态；通过合成生成技术实现了对人口统计学变量（种族、年龄、性别）的精确控制，有效缓解了现有数据集的偏见问题；数据集提供多层次的专家标注，包括连续强度评分和二进制标注，为模型训练提供了丰富的监督信号；图像质量方面，所有样本均为高分辨率、无遮挡的面部特写，背景统一，确保情感表达的清晰可辨。特别值得注意的是，该数据集通过严格的标注协议实现了0.20的平均加权Kappa系数，在保持情感表达自然性的同时确保了标注可靠性。

使用方法

EMONET-FACE数据集支持情感识别研究的全流程应用。EMONET-FACE BIG适用于大规模预训练，其20万样本量可有效提升模型的泛化能力；EMONET-FACE BINARY的二进制标注适合模型微调阶段，通过62,000余条专家标注优化分类性能；EMONET-FACE HQ作为黄金标准测试集，配备10,000条连续评分，可用于模型性能的精准评估。使用建议采用分层策略：首先在BIG集上预训练基础视觉编码器，随后用BINARY集进行任务特定微调，最终在HQ集上验证模型与人类专家判断的一致性。数据集配套发布的EMPATHICINSIGHT-FACE模型展示了最佳实践，其采用SIGLIP2架构，通过两阶段训练在HQ集上达到人类专家水平的识别准确率（κw=0.179）。

背景与挑战

背景概述

EMONET-FACE是由LAION e.V.、慕尼黑工业大学、汉诺威莱布尼兹大学等机构的研究团队于2025年5月联合推出的合成面部情感识别基准数据集。该数据集基于心理学经典著作《情绪手册》构建了包含40类细粒度情感的新分类体系，通过先进文本生成图像技术创建了三个子数据集（HQ、BINARY和BIG），共计22.5万张具有明确人口统计学平衡的高质量合成面部图像。作为首个采用多专家连续标注的合成情感数据集，其创新性地解决了传统情感识别数据集中存在的情绪谱系狭窄、标注质量参差不齐以及人口多样性不足等核心问题，为人机交互、心理健康支持等领域的AI情感理解研究提供了重要基础设施。

当前挑战

EMONET-FACE针对两大维度挑战提出了解决方案：在领域问题层面，传统情感识别模型难以区分40类精细情绪状态（如羞耻与尴尬），且无法处理合成面部的情感生成与识别双重需求；在构建过程中，研究团队需克服三大技术难题：1) 建立兼顾心理学理论基础与计算可行性的40维情绪分类体系；2) 通过提示工程确保合成图像在40类情绪和14种族裔、8个年龄段的均衡表达；3) 设计多阶段专家标注协议（包括连续评分和三重肯定标注）以处理情绪感知的主观性问题。实验表明，即使采用严格的质量控制，不同专家对'兴趣'、'专注'等认知类情绪的标注一致性仍显著低于基础情绪（κw=0.20 vs 0.58）。

常用场景

经典使用场景

EMONET-FACE数据集在计算机视觉和情感计算领域中被广泛用于训练和评估面部情感识别模型。其40类精细情感分类和高分辨率合成图像使其成为研究复杂情感状态的理想基准。该数据集特别适用于探索跨文化情感表达的细微差异，以及开发能够识别从基本情绪（如快乐、愤怒）到复杂心理状态（如嫉妒、疲惫）的AI系统。

实际应用

该数据集的实际应用涵盖人机交互的多个前沿领域：智能虚拟助手通过精准识别用户面部表情实现情感化响应；心理健康应用利用细粒度情绪分析筛查抑郁或焦虑症状；车载系统通过驾驶员疲劳/分心监测提升道路安全。特别值得注意的是，其合成的多样化人脸有效降低了现实部署中的算法偏见，使上述应用在全球化场景中更具包容性。

衍生相关工作

基于EMONET-FACE的典型衍生研究包括：1) EMPATHICINSIGHT-FACE模型系列，首次在40类情感识别任务中达到人类专家水平；2) 跨模态情感分析框架，将面部表情与语音/文本特征融合；3) 情感生成研究，通过对抗训练合成符合心理学特征的面部表情。这些工作被ACM MM和IEEE TAFFC等顶会收录，推动了从情感识别到情感生成的全链条研究。