SMIC-E-Long

SMIC-E-Long数据集是由奥卢大学机器视觉与信号分析中心创建的一个新的挑战性基准，用于微表情检测。该数据集包含162个长视频，总计约350000帧，其中132个视频包含微表情样本，共有167个微表情样本和16个主题。视频分辨率为640×480，帧率为100fps。数据集的创建过程中，通过在每个微表情样本前后添加2000至3000个自然帧（约20秒）来扩展视频长度，从而形成约22秒的长视频。此外，还选择了一些不包含微表情但包含常规面部表情的视频片段，以模拟实际的微表情检测情况。SMIC-E-Long数据集旨在解决现有微表情数据集在视频长度和复杂面部行为方面的不足，为开发稳健的微表情检测算法提供更真实的环境。The SMIC-E-Long dataset is a novel challenging benchmark for micro-expression detection, created by the Center for Machine Vision and Signal Analysis of the University of Oulu. It contains 162 long videos with a total of approximately 350,000 frames, among which 132 videos have micro-expression samples, totaling 167 micro-expression instances and involving 16 subjects. The videos have a resolution of 640×480 and a frame rate of 100 fps. During the dataset construction process, the video length was extended to around 22 seconds by adding 2000 to 3000 natural frames (about 20 seconds) before and after each micro-expression sample. In addition, some video clips that do not contain micro-expressions but include regular facial expressions were selected to simulate real-world micro-expression detection scenarios. The SMIC-E-Long dataset aims to address the limitations of existing micro-expression datasets in terms of video length and complex facial behaviors, providing a more realistic environment for developing robust micro-expression detection algorithms.

搜集汇总

数据集介绍

构建方式

SMIC-E-Long数据集的构建旨在应对现有微表情检测数据集在长度和复杂性方面的不足。该数据集通过在SMIC-E-HS数据集中每个微表情样本前后添加2000到3000个自然帧，将视频长度扩展至约22秒，以包含更多复杂的面部行为，如头部运动、眨眼和常规面部表情。此外，数据集还包含了不含微表情样本的视频片段，这些片段包含可能出现在真实微表情检测情况中的常规面部表情。最终，SMIC-E-Long数据集包含162个长视频，约350000帧，其中有132个视频包含微表情样本，25个视频包含多个微表情样本。

特点

SMIC-E-Long数据集的特点在于其视频长度更长，包含了更多复杂的面部行为，这使得微表情检测任务更具挑战性。此外，数据集还提供了预处理的人脸图像，以便于不同检测方法之间的公平比较。数据集还采用了新的评估协议，该协议考虑了微表情样本的正确位置和间隔，以便更全面地评估检测方法。

使用方法

使用SMIC-E-Long数据集的方法包括以下步骤：首先，将数据集划分为训练集和测试集，通常采用留一法交叉验证。其次，根据提出的评估协议，对各种微表情检测方法进行评估，包括基于手工特征的方法和基于深度学习的方法。这些方法包括LBP-X2距离法、MDMD方法、基于面部标志的方法、基于时空特征的方法、基于CNN的方法和基于LSTM的方法。最后，根据评估结果，选择性能最好的方法作为基准，供未来研究参考。

背景与挑战

背景概述

微表情（MEs）是人类在试图隐藏真实感受或情绪时产生的短暂且不由自主的面部表情。它们在心理学研究中扮演着理解真实情绪的重要角色，并因此导致了包括心理学、执法和心理咨询在内的多个研究领域对ME分析的兴趣。在计算机视觉领域，ME研究主要分为两个任务：定位和识别。定位任务是识别视频中的ME位置，而识别任务是确定检测到的ME的情绪类别。尽管近年来进行了大量研究，但由于大多数研究只关注识别部分而忽略了定位任务，以及当前公共数据集对ME定位的支持不足，尚未构建出实用级别的完全自动化的ME分析系统。SMIC-E-Long数据集，作为SMIC-E数据库的扩展，旨在为ME定位提供一个具有挑战性的基准。该数据集由芬兰奥卢大学机器视觉与信号分析中心和中国西安交通大学电子与信息工程学院的研究人员共同创建，于2020年12月29日提交至Neurocomputing期刊。

当前挑战

SMIC-E-Long数据集的创建旨在解决当前ME定位研究中的两个主要问题：首先，现有的ME定位数据库数量有限，且视频长度通常较短，不包含复杂的面部行为，如眨眼、头部运动和常规面部表情，这些行为容易与ME混淆。其次，现有的ME定位研究往往采用不同的评估协议，使得比较现有技术变得困难。为了解决这些问题，SMIC-E-Long数据集提供了更长的视频和更复杂的情况，使得现有的ME定位技术能够在更接近现实的环境中进行评估。此外，该数据集还提出了一套新的评估协议，旨在通过同时考虑正确的ME位置和ME间隔，来标准化ME定位方法的比较。通过这些改进，SMIC-E-Long数据集为ME定位研究提供了更具有挑战性和现实性的基准，并有望推动该领域的发展。

常用场景

经典使用场景

SMIC-E-Long 数据集作为微表情识别任务中的一个新基准，主要用于评估微表情识别算法的性能。微表情识别任务可以分为两个主要部分：微表情定位（Spotting）和微表情识别（Recognition）。SMIC-E-Long 数据集提供了足够长的视频片段，并且包含了复杂的面部行为，这使得它成为了评估微表情定位算法性能的理想选择。此外，SMIC-E-Long 数据集还提供了预处理的面部图像，使得不同算法之间的比较更加公平。

解决学术问题

SMIC-E-Long 数据集解决了现有微表情识别数据集的两个主要问题。首先，现有数据集的长度通常很短，而且视频片段中包含的面部行为相对简单，这导致现有算法在真实环境中的表现不佳。SMIC-E-Long 数据集提供了足够长的视频片段，并且包含了复杂的面部行为，使得算法能够在更具挑战性的环境中进行评估。其次，现有的评估协议只关注微表情样本的定位，而没有考虑微表情间隔的准确性。SMIC-E-Long 数据集提出了新的评估协议，该协议同时考虑了微表情样本的定位和微表情间隔的准确性，使得评估结果更加全面和准确。

衍生相关工作

SMIC-E-Long 数据集的提出引发了大量的相关研究工作。例如，一些研究工作提出了新的微表情定位算法，并在 SMIC-E-Long 数据集上进行了评估。这些研究工作不仅提高了微表情定位算法的性能，而且还推动了微表情识别技术的发展。此外，一些研究工作还提出了新的评估协议，并在 SMIC-E-Long 数据集上进行了验证。这些研究工作为微表情识别技术的标准化和评估提供了重要的参考。