mEBAL2

mEBAL2是由马德里自治大学Biometrics and Data Pattern Analytics Laboratory创建的，是目前最大的眼眨数据库。该数据集包含来自180名不同学生的21,100个图像序列，总计超过200万张标记图像，用于训练和评估基于RGB和近红外（NIR）图像的眼眨检测。mEBAL2通过多种传感器，包括两个NIR和一个RGB摄像头，捕捉执行任务时的面部表情，以及使用脑电图（EEG）带获取用户的认知活动和眨眼事件。此外，该数据集还探索了在真实环境中使用NIR光谱改善眨眼检测的潜力，并评估了新的数据驱动方法。mEBAL2的应用领域包括在线教育中的注意力水平估计和安全性提升，旨在通过分析眨眼模式来优化在线学习体验和评估的准确性。mEBAL2 was developed by the Biometrics and Data Pattern Analytics Laboratory at the Universidad Autónoma de Madrid, and it is currently the largest publicly available eye blink detection dataset to date. This dataset comprises 21,100 image sequences from 180 distinct students, totaling over 2 million annotated images, and is designed for training and evaluating RGB and near-infrared (NIR) image-based blink detection systems. mEBAL2 captures facial expressions during task performance via multiple sensors, including two NIR cameras and one RGB camera, and collects users' cognitive activities and blink events using electroencephalography (EEG) headsets. Furthermore, this dataset explores the potential of leveraging NIR spectra to enhance blink detection in real-world scenarios, and evaluates novel data-driven methods. Application scenarios of mEBAL2 include attention level estimation and safety enhancement in online education, which aims to optimize online learning experiences and the accuracy of assessments by analyzing blink patterns.

搜集汇总

数据集介绍

构建方式

mEBAL2 的构建依托于多模态数据采集平台 edBB，旨在捕捉在线学习场景下的眼睑活动。研究团队招募了 180 名不同背景的学生，在其实施多样化 e-learning 任务（如逻辑推理、视觉追踪、文本阅读及 HTML 编程测验）的过程中，同步利用一台 RGB 摄像头与两台近红外（NIR）摄像头以 30 Hz 频率采集面部视频，同时佩戴 EEG 头带记录认知活动信号。眼睑事件采用半监督标注策略：首先由 EEG 设备自动检测眨眼候选，随后经由人工逐一校验与修正，最终形成包含 21,100 个事件（各 10,550 个眨眼与非眨眼样本）的标注库，每个事件包含 19 帧连续图像，总计逾 240 万帧标注数据。

特点

该数据集的核心特点在于其规模与多光谱特性。作为目前最大的公开眨眼数据库，mEBAL2 涵盖了丰富的自然变异因素，包括光照变化、头部姿态偏移、面部遮挡（如眼镜、头发、手部）以及物理活动等，极大提升了模型的鲁棒性。尤为独特的是，数据集同时提供 RGB 与 NIR 双光谱图像，实验表明 NIR 信息在训练阶段能够有效提升检测器的泛化能力，即便在推理时仅使用 RGB 图像，性能依然显著优于单一光谱训练。此外，数据集还附带了 EEG 频带数据（α、β、γ、δ、θ 通道）及注意力水平标签，为多模态认知状态分析提供了珍贵资源。

使用方法

mEBAL2 为不同粒度眨眼检测任务提供了标准化基准。对于帧级检测，数据集提供了 21,000 张睁眼与 21,000 张闭眼图像，研究者可直接基于 CNN 架构（如论文中的 OE-ConvNet）进行二分类训练。对于视频序列级检测，则提供了 10,500 个眨眼与 10,500 个非眨眼序列，适合采用 ConvLSTM 等时序模型进行整体事件判别。论文建议采用留一用户交叉验证协议，以评估模型的个体无关性。此外，数据集还支持跨数据集泛化测试，研究者可将其用于训练后，在 HUST-LEBW 等野外环境数据集上验证模型的迁移能力，从而推动眨眼检测技术向真实应用场景落地。

背景与挑战

背景概述

眼球运动作为人类行为分析的重要生物标志物，在疲劳检测、注意力评估及情感计算等领域具有关键作用。然而，现有公开数据集普遍存在样本量小、模态单一等局限，严重制约了数据驱动型眨眼检测算法的发展。2024年，西班牙马德里自治大学生物识别与数据模式分析实验室的Roberto Daza等人构建了mEBAL2数据集，这是目前规模最大的多光谱眨眼数据库。该数据集包含来自180名学生的21,100个图像序列（超过200万标注帧），同步采集RGB与近红外（NIR）多光谱面部图像及脑电图信号，旨在解决e-learning场景下注意力估计等核心研究问题。mEBAL2的发布推动了多光谱融合眨眼检测技术的进步，其基准实验表明结合NIR与RGB信息可实现高达99%的检测精度，为真实环境下的鲁棒眨眼检测提供了重要数据支撑。

当前挑战

mEBAL2所应对的核心挑战在于：1）领域问题层面，现有眨眼检测方法受限于小样本RGB数据集，难以泛化至光照变化、头部姿态多样、面部遮挡（如眼镜、头发）等非受控环境，而多光谱信息的融合策略尚缺乏系统性验证；2）构建过程中，需同步协调三台相机（1个RGB与2个NIR）与脑电设备的时序对齐，并设计涵盖不同认知负荷（如逻辑题、视觉任务）的e-learning任务以诱发自然眨眼变化。此外，半监督标注流程中需人工校验脑电信号自动检测的21,484个候选眨眼事件，最终仅保留12,032个可靠标注，剔除近半噪声数据，这对标注质量和效率构成严峻考验。

常用场景

经典使用场景

mEBAL2作为目前规模最大的多光谱眼动数据库，在眼睑闭合检测研究中占据核心地位。其经典使用场景聚焦于基于图像与视频序列的眼睑闭合事件识别，研究者可借助该数据集训练和评估从单帧图像到连续视频片段的多层次检测模型。数据集涵盖21,100个标注事件，包含来自180名学生在真实在线学习环境中的RGB与近红外双模态图像序列，为开发高精度、鲁棒的眼睑闭合检测算法提供了丰富的数据基础。特别是在教育技术领域，该数据集被广泛用于构建能够适应光照变化、姿态偏移及面部遮挡等复杂条件的检测系统，其典型应用包括通过眼睑闭合频率推断学习者的注意力水平，从而推动智能化教学评估的发展。

衍生相关工作

mEBAL2的发布催生了一系列具有影响力的衍生研究工作。在算法层面，研究者基于该数据集提出了多种创新框架，例如融合卷积神经网络与长短期记忆网络的ConvLSTM架构，实现了高达99%的视频级检测准确率；以及通过后期融合策略整合RGB与双近红外通道信息的LI-RI-RGB-ConvNet模型，进一步提升了帧级检测精度。在理论层面，该数据集推动了多光谱训练对模型泛化能力影响的研究，揭示了近红外光谱在提升跨场景鲁棒性中的关键作用。此外，mEBAL2还被用作基准来评估新一代眼睑闭合检测方法，如基于注意力机制的InstBlink和眼睑运动特征学习模型，这些工作共同构成了从数据采集、特征学习到系统集成的完整研究链条，深刻影响了行为分析、生物特征识别和人机交互等领域的发展方向。

数据集最近研究

最新研究方向

在眼动行为分析与多模态生物特征融合的前沿领域，mEBAL2作为当前规模最大的公开眼睑数据库，正推动着眨眼检测研究从受控实验室环境向复杂真实场景的跨越。该数据集整合了RGB与近红外(NIR)双光谱影像，并结合脑电图(EEG)信号，为注意力水平估计、远程教育诚信监测及驾驶员疲劳预警等热点应用提供了关键支撑。研究团队基于mEBAL2开发的ConvLSTM架构在在线学习场景中实现了高达99%的眨眼检测准确率，其跨数据集泛化实验更证实了多光谱训练策略在HUST-LEBW等野外环境中的显著优势——仅通过RGB图像推理时，NIR光谱的协同训练仍能有效提升模型鲁棒性。这项工作不仅破解了数据驱动型眨眼检测因样本匮乏而长期停滞的困局，更为构建新一代自适应教育平台及人机交互系统奠定了重要的基准资源。

相关研究论文

• mEBAL2 Database and Benchmark: Image-based Multispectral Eyeblink Detection

  马德里自治大学 · 2024年