正数智慧（温州）科技有限公司

通过构建一个包含工业装配的典型作业工序中，以第一人称视角采集的手部操作行为数据集，并为每段操作序列标注工序步骤及动作类别的数据集，用于训练能够精确理解操作者手部动作意图的识别模型。该数据适用于智能制造与工业数字化场景，例如在技能培训中，系统可自动比对学员与标准工序的手部动作偏差，实时给出纠正提示；在装配产线上，通过第一人称视角的持续监控，对漏装、错序、不规范操作进行即时预警；在远程专家协作中，现场操作人员的手部动作可被实时解析，专家端同步获得结构化的操作进度与异常标注；在AR辅助作业系统中，系统根据当前手部动作自动推送下一步指引，降低对操作手册的依赖。利用该数据训练的模型能够理解工业手部操作的动作语义与执行质量，解决了传统视频监控局限于被动录像、无法解析细粒度手部工序行为的难题。本数据集应用于工业自动化装配场景中的第一人称视角手部检测、操作动作识别及工序分析，主要解决复杂光照、背景干扰和手部遮挡条件下，操作人员手部位置及动作类别难以准确识别的问题。 数据采集与处理规则如下：以“文件编号”作为单条数据的唯一标识，用于关联同一操作过程中的物品图像、采集视频和JSON标注文档；“操作物品图像标注”记录本次操作对象对应的图像文件名称，为操作物品识别及场景语义分析提供依据；“视频命名”记录原始采集视频文件名称，视频内容为工业装配场景下第一人称视角的手部操作过程；“采集场景类别”记录该数据对应的具体装配或拆装作业类型，用于工序分类和动作识别；“json文档命名”记录与原始视频相对应的标注文档名称，JSON文档中保存工序步骤、动作类别及手部边界框等标注信息；“采集视频时长”记录视频的有效持续时间，用于视频完整性核验、抽帧处理及样本量控制；“所属行业类别”用于标识数据所属的工业自动化应用领域；“数据组别”用于记录数据采集批次或数据集划分信息，便于数据管理、训练集划分及结果追溯。 在模型处理过程中，首先根据文件编号及文件命名关系，将操作物品图像、原始视频和JSON标注文档进行匹配；然后从视频中提取单帧图像，并读取JSON文档中的工序步骤、动作类别和手部边界框标注。单帧图像特征按照公式 F_image = Encoder_cnn(I_input) 进行提取，其中，I_input 为输入图像，Encoder_cnn 为卷积神经网络编码器，F_image 为图像在高维特征空间中的映射。基于提取的图像特征，按照公式 BBox = Decoder_det(F_image) 解码得到手部边界框坐标，并结合采集场景类别、操作物品信息及工序动作标注完成动作类别识别。模型采用交并比（Intersection over Union，IoU）评价预测边界框与真实标注边界框的重合程度，并结合动作分类准确率评价动作识别效果，最终实现对工业装配过程中手部位置、操作动作及工序步骤的检测与识别。