MR-NIRP Car Dataset

MR-NIRP Car Dataset是由埃因霍温理工大学和Philips Intellectual Property & Standards创建的，用于评估在驾驶环境中使用近红外（NIR）摄像头进行图像光电容积描记（iPPG）的心率监测性能。该数据集包含18名驾驶员在不同驾驶条件下的面部视频，视频帧率为30fps，并使用940 ± 5 nm带通滤波器进行过滤。数据集的创建过程包括使用MediaPipe进行面部特征提取和选择23个感兴趣区域（ROIs），以及通过CMS 50D+指尖脉搏血氧仪收集地面真值脉搏波形。该数据集主要应用于驾驶员监控系统，旨在通过连续监测驾驶员的心率来减少交通事故。MR-NIRP Car Dataset was developed by Eindhoven University of Technology and Philips Intellectual Property & Standards, for evaluating the heart rate monitoring performance of imaging photoplethysmography (iPPG) using near-infrared (NIR) cameras in driving environments. This dataset includes facial videos of 18 drivers under different driving conditions, with a frame rate of 30 fps, and filtered by a 940 ± 5 nm band-pass filter. The dataset construction process involves facial feature extraction using MediaPipe and selection of 23 regions of interest (ROIs), as well as collection of ground-truth pulse waveforms via a CMS 50D+ fingertip pulse oximeter. This dataset is primarily applied to driver monitoring systems, aiming to reduce traffic accidents by continuously monitoring the driver's heart rate.

搜集汇总

数据集介绍

构建方式

MR-NIRP Car数据集的构建基于在驾驶环境中使用近红外（NIR）摄像头记录的驾驶员面部视频。该数据集包含了18名驾驶员在两种不同场景（城市驾驶和车库停车）下的视频，视频帧率为30fps，并使用了940 ± 5 nm的带通滤波器进行过滤。每个视频根据驾驶员头部的运动状态分为静止和小幅度运动两种情况。此外，数据集还通过CMS 50D+指脉氧仪收集了地面真值脉搏波形，并将其降采样至30 fps以匹配视频帧率。这种多场景、多运动状态的设计旨在全面评估基于深度学习的成像光电容积描记术（iPPG）在实际驾驶环境中的性能。

特点

MR-NIRP Car数据集的显著特点在于其多场景和多运动状态的设置，这使得该数据集能够全面评估iPPG技术在不同驾驶条件下的鲁棒性。此外，数据集采用了近红外摄像头，相比传统的RGB摄像头，更能抵抗驾驶过程中光照变化的影响。数据集还包含了详细的地面真值脉搏波形，为模型的训练和验证提供了可靠的参考。这些特点使得MR-NIRP Car数据集成为评估和改进驾驶员生理状态监测技术的宝贵资源。

使用方法

MR-NIRP Car数据集主要用于训练和验证基于深度学习的成像光电容积描记术（iPPG）模型，以实现对驾驶员心率的非接触式监测。使用该数据集时，研究人员可以采用留一法交叉验证（leave-one-subject-out cross-validation）策略，确保模型在不同驾驶员之间的泛化能力。数据集中的视频和地面真值脉搏波形可以用于提取特征并进行模型训练，常见的评估指标包括平均绝对误差（MAE）、均方根误差（RMSE）和成功率（PTE6）。通过这些评估指标，研究人员可以全面了解模型在不同驾驶条件下的性能，并进行相应的优化和改进。

背景与挑战

背景概述

在未来的交通安全愿景中，持续监测驾驶员的生命体征如心率至关重要。MR-NIRP Car数据集由Eindhoven University of Technology和Philips Intellectual Property & Standards联合创建，旨在通过近红外（NIR）摄像技术评估驾驶员的心率，以减少交通事故。该数据集包含18名驾驶员在驾驶和停车两种场景下的面部视频，视频帧率为30fps，并使用940 ± 5 nm的带通滤波器进行处理。通过深度学习模型，研究人员能够评估在不同头部运动条件下的心率估计准确性，展示了在实际驾驶环境中应用成像光电容积描记术（iPPG）的潜力与挑战。

当前挑战

MR-NIRP Car数据集面临的挑战主要集中在两个方面。首先，图像分类领域的挑战在于如何准确地从驾驶员的面部视频中提取心率信号，尤其是在光照条件变化和头部运动的情况下。其次，数据集构建过程中遇到的挑战包括数据不平衡问题，即大多数受试者的心率集中在50至70 bpm范围内，而极端心率数据的缺乏影响了模型的泛化能力。此外，数据增强技术的应用虽然在某些情况下提高了估计精度，但在其他情况下却未能带来显著改善，表明现有方法在处理复杂驾驶环境中的噪声和特征提取方面仍有不足。

常用场景

经典使用场景

MR-NIRP Car数据集在汽车领域中被广泛用于评估基于深度学习的成像光电容积描记法（iPPG）技术，特别是在驾驶员心率监测方面。该数据集通过记录驾驶员在驾驶和静止状态下的面部视频，结合近红外（NIR）摄像技术，提供了丰富的数据资源。研究者利用这些数据来训练和验证深度学习模型，以实现对驾驶员心率的非接触式、实时监测，从而在驾驶安全领域具有重要应用价值。

衍生相关工作

MR-NIRP Car数据集的发布和应用催生了多项相关研究工作。例如，研究者基于该数据集开发了多种深度学习模型，如U-net架构和3D卷积神经网络（3DCNN），以提高心率估计的准确性。此外，数据集的使用还推动了数据增强技术和时间序列分析方法的发展，以应对驾驶环境中复杂多变的挑战。这些衍生工作不仅提升了iPPG技术在汽车领域的应用效果，也为其他非接触式生理监测技术的研究提供了新的思路和方法。

数据集最近研究

最新研究方向

在汽车领域，基于深度学习的成像光电容积描记术（iPPG）用于驾驶员心率监测的研究正日益受到关注。MR-NIRP Car数据集作为这一领域的基准，为研究人员提供了评估和改进iPPG方法的平台。最新的研究方向集中在利用近红外（NIR）摄像技术结合深度学习模型，以提高在不同驾驶条件下的心率估计准确性。研究者们通过引入U-net架构、3D卷积神经网络（3DCNN）和循环神经网络（RNN）等先进技术，探索了在光照变化和驾驶员头部运动情况下的心率估计方法。此外，数据增强技术和窗口移位方法也被应用于解决训练数据不平衡和时间偏移问题，以提升模型在实际驾驶环境中的鲁棒性和可靠性。这些研究不仅推动了iPPG技术在汽车安全领域的应用，也为未来智能驾驶系统中的驾驶员状态监测提供了新的技术路径。

相关研究论文

• Internship Report: Benchmark of Deep Learning-based Imaging PPG in Automotive Domain

  埃因霍温理工大学 · 2024年