宁波普瑞均胜汽车电子有限公司

本数据主要应用于人工智能领域中多模态手势识别模型的训练与优化。该数据集由公司基于智能手环等穿戴式设备采集，融合了惯性测量单元（IMU）与表面肌电（sEMG）两种传感器数据，构建了双支路输入结构，覆盖了多种静态与动态手势类型，具备高质量、高多样性和高标注准确性的特点。通过对该数据集的训练，所构建的手势识别模型能够实现对用户手势的精准识别，涵盖日常交互中常见的静态手势（如握拳、张开手掌）与动态手势（如滑动、旋转等），并在实际测试中表现出良好的泛化能力，能够有效识别训练集外个体的手势动作，具备跨用户适应性。 该数据可广泛应用于智能手环交互控制、可穿戴设备中的手势命令识别以及无接触式人机交互等现有场景，同时在AR/VR虚拟现实交互、智能家居控制、工业现场手势操作识别等预期场景中也具有广阔的应用前景。预处理前的数据来源于采集设备采集的肌电信号（sEMG）和惯性测量单元（IMU）信号。其中，电极贴附于采集设备底部，设备佩戴于手腕处，位置距离手腕关节约3–5cm，用于记录用户在执行不同手势动作过程中，由肌肉收缩所产生的电位变化；IMU信号由MPU6050传感器采集得到。原始数据为连续时间段内的时间序列信号。在完成ADC采样后，系统采用IIR数字滤波器对sEMG信号进行预处理。滤波结构由前级的低频抑制（高通特性）与后级的高频衰减（低通特性）级联组成，整体构成针对sEMG信号的带通滤波通道，用于保留有效肌电频段的信息，并抑制基线漂移及高频噪声干扰。随后，对时间序列信号进行滑动窗口转换。每个窗口长度设为128，步幅为1。对于每个窗口内的肌电信号，采用短时傅里叶变换（STFT）进行频域分析，相关参数设置为：hop_length=8、n_time_frames=9、n_freq_segments=8，从而提取频域特征并构建特征张量，其尺寸为1×8×9。在模型构建方面，设计并构建了一种双支路的全连接神经网络结构，分别用于处理IMU信号和sEMG信号。IMU支路以尺寸为1×6×128的张量作为输入，首先展平为768维向量，随后依次通过三层全连接网络（768→128→64→32）。每一层均包含批量归一化（BatchNormalization）、ReLU激活函数以及Dropout操作（丢弃率为0.1），以增强模型泛化能力并防止过拟合，最终输出10类的分类结果。sEMG支路以尺寸为1×8×9的张量作为输入，展平为72维向量后，依次通过两层全连接网络（72→32→16），同样引入批量归一化、ReLU激活函数以及Dropout机制，最终输出10类分类结果。两个支路的输出在融合模块中进行特征拼接，形成20维特征向量，并通过三层全连接网络（20→64→32→10）完成最终的手势分类任务。在模型训练阶段，采用Adam优化器对网络参数进行优化，初始学习率设置为0.001。数据集被划分为训练集、验证集和测试集，比例为7:2:1。使用训练集对模型进行训练，训练轮数设为800，批次大小为32。在训练过程中，实时监控验证集损失值，当验证集损失在连续50个训练轮次内未出现下降时，提前终止训练，以防止模型过拟合。最后，通过对学习率、批次大小等超参数进行调整与对比实验，选择性能最优的模型配置作为最终模型。