MultiPhysio-HRC

MultiPhysio-HRC是一个包含生理、音频和面部数据的多元数据集，收集于真实世界的人机协作场景中。该数据集包括脑电图（EEG）、心电图（ECG）、电导活动（EDA）、呼吸（RESP）、肌电图（EMG）、语音录音和面部动作单元。数据集整合了受控的认知任务、沉浸式虚拟现实体验和手动以及机器人辅助的工业拆卸活动，以捕捉参与者的全面心理状态。通过验证的心理自我评估问卷获得了丰富的真实标注。基准模型被评估用于压力和认知负荷分类，证明了数据集在情感计算和人机协作研究中的潜力。MultiPhysio-HRC公开发布，以支持以人为中心的自动化、工作场所福祉和智能机器人研究。MultiPhysio-HRC is a multimodal dataset encompassing physiological, audio and facial data, collected in real-world human-robot collaboration scenarios. This dataset includes electroencephalography (EEG), electrocardiography (ECG), electrodermal activity (EDA), respiration (RESP), electromyography (EMG), speech recordings and facial action units. The dataset integrates controlled cognitive tasks, immersive virtual reality experiences, as well as manual and robot-assisted industrial disassembly activities, to capture the comprehensive mental states of participants. Rich ground-truth annotations are acquired via validated psychological self-assessment questionnaires. Benchmark models were evaluated for stress and cognitive load classification, demonstrating the dataset’s potential in affective computing and human-robot collaboration research. MultiPhysio-HRC is publicly released to support research in human-centered automation, workplace well-being and intelligent robotics.

搜集汇总

数据集介绍

构建方式

在工业人机协作研究领域，MultiPhysio-HRC数据集的构建采用了多日分层实验设计，通过融合真实工业场景与实验室任务来全面捕捉参与者的心理生理状态。数据采集涵盖55名受试者，首日聚焦基线测量与压力诱导，包括认知任务（斯特鲁普测试、N-back任务等）、呼吸训练及虚拟现实体验；次日则模拟工业电池拆解任务，对比人工操作与机器人协作模式。所有生理信号（EEG、ECG、EDA、EMG、RESP）通过Bitbrain专业设备以256Hz同步采集，并辅以面部动作单元与语音记录，形成多模态数据流。实验全程采用随机任务顺序与重复操作设计，以诱发疲劳与认知负荷变化，并通过标准化心理量表（STAI-Y1、NASA-TLX、SAM）在每项任务后实时标注真实心理状态。

使用方法

该数据集支持多层次研究应用，其使用需遵循系统化处理流程。原始数据需经专业信号处理管线预处理：心电与肌电信号采用带通滤波，皮电信号通过卷积平滑与相位分离，脑电图则经过频段滤波与工频干扰消除。特征提取阶段可基于Neurokit工具包计算250项时域、频域及非线性特征，包括心率变异性指标、脑电功率谱密度及微分熵等。面部与语音数据分别通过Py-Feat动作单元检测模型与Silero-VAD语音活动检测算法转化为结构化特征。研究者可利用留一被试交叉验证框架，结合随机森林、XGBoost等基线模型进行压力与认知负荷的分类回归分析，亦可通过多模态特征融合技术探索跨模态关联机制。数据集公开提供完整采集协议与预处理代码，确保研究可复现性。

背景与挑战

背景概述

随着工业5.0时代对人本化制造的重视，人机协作领域亟需能够感知人类心理状态的智能系统。MultiPhysio-HRC数据集由瑞士SUPSI研究院联合Bitbrain等机构于2025年创建，旨在通过多模态生理信号捕捉工业场景中操作员的压力与认知负荷状态。该数据集创新性地整合了真实工业拆解任务、虚拟现实实验与认知测试，涵盖脑电、心电、肌电等七类生理指标，并辅以标准化心理量表作为标注依据，为构建具有情感计算能力的人机协作系统提供了关键数据支撑。

当前挑战

在解决工业人机协作场景的心理状态识别问题时，该领域长期面临多模态数据融合复杂度高、真实工业环境干扰强等挑战。数据集构建过程中需克服多设备同步采集的技术壁垒，在保证信号质量的同时维持实验生态效度。此外，工业场景的运动伪影消除、跨被试泛化建模以及多任务心理状态标注一致性验证，均为该数据集需要持续优化的核心难点。

常用场景

经典使用场景

在工业人机协作研究领域，MultiPhysio-HRC数据集被广泛应用于心理状态识别模型的开发与验证。该数据集通过整合脑电图、心电图、皮肤电活动等多模态生理信号，结合虚拟现实任务与真实工业拆解场景，为研究者提供了丰富的心理压力与认知负荷评估数据。其经典应用体现在通过标准化认知任务与工业协作实验，构建跨场景的心理状态监测框架，推动自适应机器人系统的算法优化。

解决学术问题

该数据集有效解决了工业环境中人类心理状态量化评估的难题，通过同步采集生理信号与心理学量表数据，为认知负荷分级、压力状态识别提供了可靠基准。其多模态特性突破了传统单信号研究的局限性，支持机器学习模型探索心理状态与生理响应的复杂映射关系，显著提升了人机协作场景中情感计算研究的信度与效度。

实际应用

在工业4.0向5.0转型的实践中，该数据集支撑了智能机器人系统的适应性改进。基于其数据训练的模型可实时监测操作员心理负荷，动态调整机器人作业节奏，避免因过度压力导致的生产事故。在电动汽车电池拆解等高风险作业中，系统通过生理信号预警认知超载，实现人机协作流程的主动安全调控，推动以人为本的智能制造落地。

数据集最近研究

最新研究方向

在工业人机协作领域，MultiPhysio-HRC数据集正推动基于多模态生理信号的心理状态感知研究。该数据集整合脑电、心电、皮肤电活动等七类生理指标，结合虚拟现实与真实工业拆解任务，构建了面向压力与认知负荷识别的多维评估框架。当前研究聚焦于多源数据融合与轻量化模型部署，通过对比基线模型发现生理信号在分类任务中显著优于语音特征，为构建自适应机器人行为调控系统提供了数据基石。这一进展直接呼应工业5.0中人本制造的核心诉求，为降低职业倦怠、提升协作安全性开辟了新路径。

相关研究论文

• MultiPhysio-HRC: Multimodal Physiological Signals Dataset for industrial Human-Robot Collaboration

  瑞士苏黎世大学,瑞士苏黎世高等专业学院,西班牙比特布赖恩公司,西班牙萨拉戈萨大学 · 2025年