遇见数据集

Masked Student Dataset of Expressions (MSD-E)

收藏
arXiv2023-04-08 更新2024-06-21 收录
数据链接:
官方服务:

资源简介:

Masked Student Dataset of Expressions (MSD-E)是由斯里萨雅萨萨高等学习学院创建的一个新颖数据集,包含1,960张来自142个体的真实世界非蒙面和蒙面面部表情图像。该数据集专注于解决Covid-19疫情期间面部表情识别中的遮挡问题,特别是蒙面情况下的表情识别。数据集中的图像标注有七种基本情绪:惊讶、恐惧、厌恶、快乐、悲伤、愤怒和中性。创建过程中,通过志愿者验证确保标签的可靠性,并针对难以表达的情绪进行了额外拍摄。MSD-E数据集的应用领域主要集中在提升计算机在蒙面环境下的人脸表情识别能力,以促进更自然的人机交互。

Masked Student Dataset of Expressions (MSD-E) is a novel dataset developed by the Sri Sathya Sai Institute of Higher Learning, comprising 1,960 real-world unmasked and masked facial expression images from 142 distinct individuals. This dataset targets the occlusion problem in facial expression recognition during the COVID-19 pandemic, specifically expression recognition with masked faces. All images in the dataset are annotated with seven basic emotions: surprise, fear, disgust, happiness, sadness, anger, and neutral. During the dataset construction, volunteer validation was conducted to ensure the reliability of the annotations, and additional data collection sessions were carried out for emotions that are challenging to express. The primary application scenarios of the MSD-E dataset focus on enhancing the performance of computer facial expression recognition in masked environments, so as to promote more natural human-computer interaction.

创建时间:
2023-04-08
搜集汇总
数据集介绍
构建方式
在新冠疫情背景下,面部遮挡对表情识别构成了严峻挑战。为此,研究者从142名印度裔受试者中采集了1960张真实世界的人脸表情图像,涵盖非遮挡与口罩遮挡两种情境。每位受试者需依次展现惊喜、恐惧、厌恶、快乐、悲伤、愤怒和中性七种基本表情,每种表情分别拍摄无口罩与佩戴口罩的图像,共获得14张原始图像。为确保标签可靠性,七名志愿者通过感知判断独立核查每张图像的表情标签,对存在歧义的图像进行重新标注或剔除,最终通过多数投票机制确定有效样本。此外,为满足对比学习与知识蒸馏等训练范式对成对数据的需求,研究进一步筛选出857对非遮挡与遮挡图像,构成MSD-PE子集。
特点
该数据集的核心特色在于其真实性与多样性。首先,所有图像均采集自真实佩戴口罩的受试者,而非通过合成工具生成,更贴近实际应用场景。其次,口罩种类丰富多样,包括外科口罩、N95口罩及各类花色布质口罩,真实反映了社会中的口罩使用现状。此外,受试者来自印度六大地理区域,年龄跨度从10岁至40岁,且多数为男性,为跨种族研究提供了独特资源。数据集还包含大量具有挑战性的样本,如表情细微或混合情绪的图像,以及佩戴眼镜等额外遮挡因素,有效模拟了现实环境的复杂性。这些设计使得MSD-E成为首个专门针对口罩遮挡场景的FER数据集。
使用方法
数据集可用于评估和提升深度学习模型在口罩遮挡下的表情识别性能。研究者建议采用10折交叉验证策略,基于身份独立划分数据以保证泛化能力。以ResNet-18为骨干网络,可加载MS-Celeb-1M预训练权重进行微调。针对口罩遮挡导致的特征缺失问题,可引入对比学习与知识蒸馏两种训练范式:前者通过最小化非遮挡与遮挡图像特征向量的均方误差来增强特征一致性,后者则借助教师网络指导学生学习遮挡场景下的鲁棒表征。此外,数据集还支持评估现有遮挡鲁棒方法(如RAN和SCAN)的性能,并通过t-SNE可视化与Grad-CAM热力图分析模型对未遮挡面部区域的关注程度。
背景与挑战
背景概述
在新冠疫情全球蔓延的背景下,面部遮挡——尤其是口罩的普及——对自动面部表情识别(FER)系统构成了前所未有的严峻考验。传统FER算法在受控环境下表现优异,但口罩覆盖了嘴部和鼻部等关键情感判别区域,致使约半数面部特征丢失,严重削弱了模型对基本情绪的区分能力。为此,Sridhar Sola与Darshan Gera于2022年在印度计算机视觉、图形与图像处理会议(ICVGIP'22)上提出了Masked Student Dataset of Expressions(MSD-E)。该数据集由142名印度裔受试者贡献的1,960张真实世界图像构成,涵盖七种基本情绪,并包含非佩戴口罩与佩戴口罩的成对样本。作为首个专为口罩场景设计的FER数据集,MSD-E不仅填补了真实遮挡数据的空白,还引入了印度族裔的多样性,为后疫情时代的人机交互研究提供了宝贵的基准资源。
当前挑战
MSD-E数据集所面临的挑战体现在多个层面。在领域问题层面,口罩遮挡导致FER系统丧失嘴部和鼻部等关键特征,使得模型难以区分微妙情绪(如恐惧与惊讶、厌恶与愤怒),尤其当表情强度较弱或存在混合情绪时,识别准确率显著下降。此外,口罩样式多样(如外科口罩、N95、布制口罩)进一步增加了特征干扰。在数据集构建过程中,挑战同样突出:受试者多为学生,其表演性表情与真实情感存在偏差,需通过七名志愿者进行人工校验与重标定;同时,为确保成对图像标签一致,150组图像对因标签不匹配而被剔除,最终仅保留857对有效数据。此外,数据集规模较小(1,960张),且性别分布不均(仅两名女性),限制了模型泛化能力的充分评估。
常用场景
经典使用场景
在后疫情时代,人脸表情识别(FER)系统面临口罩遮挡这一严峻挑战。MSD-E数据集专为真实场景下的口罩遮挡表情识别而设计,收录了142名印度裔受试者在佩戴口罩与未佩戴口罩两种条件下的七种基本表情图像,共计1960张。该数据集的核心应用在于评估和提升FER模型对口罩遮挡的鲁棒性,研究者可利用其非遮挡与遮挡配对图像(MSD-PE)训练模型,使其在口罩遮挡下依然能准确识别表情,同时保持对未遮挡人脸的高性能。
衍生相关工作
MSD-E的发布催生了多项经典衍生工作。研究者基于其配对图像子集MSD-PE,探索了对比学习与知识蒸馏在口罩遮挡FER中的应用,通过拉近遮挡与未遮挡特征的距离,迫使模型聚焦于眼部等未遮挡区域,显著提升了遮挡场景下的识别精度。此外,该数据集被用于评估区域注意力网络(RAN)与时空通道注意力网络(SCAN)等SOTA方法,验证了注意力机制在遮挡鲁棒FER中的有效性。这些工作为后续研究提供了重要基准与思路。
数据集最近研究
最新研究方向
在新冠疫情催生的后疫情时代,面部遮挡已成为人脸表情识别领域不可回避的严峻挑战。MSD-E数据集应运而生,聚焦于真实世界中口罩遮挡下的表情识别这一前沿难题。该数据集突破了以往依赖合成数据的局限,通过采集142名印度裔受试者在佩戴口罩与未佩戴口罩两种状态下的七种基本表情图像,构建了包含1960张真实样本的宝贵资源。研究不仅揭示了常规深度学习模型在混合训练场景下性能显著下降的困境,更创新性地引入对比学习与知识蒸馏两种训练范式,成功提升了模型对口罩遮挡的鲁棒性,同时保持了对无遮挡表情的识别能力。这一工作为开发具有遮挡不变性的表情识别系统提供了关键基准,推动了人机交互在公共卫生事件常态化的应用边界。
相关研究论文
  • 1
    Masked Student Dataset of Expressions斯里萨雅萨萨高等学习学院 · 2023年
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务