Handover Failure Detection (HFD) dataset

Handover Failure Detection (HFD)数据集由波恩-莱茵-锡格应用技术大学创建，专注于机器人与人类之间物体交接失败的检测。该数据集包含589个试验，涉及两种机器人和17名参与者，涵盖视频、机器人关节状态和力矩传感器读数等多种模态数据。数据集旨在为机器人提供监控能力，以便及时反应失败情况，特别关注由人类参与者引起的不可预防的失败。The Handover Failure Detection (HFD) dataset was created by Bonn-Rhein-Sieg University of Applied Sciences, focusing on detecting object handover failures between robots and humans. This dataset contains 589 trials involving two types of robots and 17 participants, covering multiple data modalities including videos, robot joint states, and torque sensor readings. The dataset is designed to equip robots with monitoring capabilities to timely respond to failure scenarios, with a particular focus on unpreventable failures caused by human participants.

搜集汇总

数据集介绍

构建方式

在人机协作的物理交互过程中，物体交接是一项易因沟通失误、意图误判或物体特性异常而失败的协调动作。为弥补现有研究多聚焦于滑落、扰动等可预防故障而忽视由人类参与者引发的不可预防故障这一空白，该数据集通过招募17名受试者，在Toyota HSR与Kinova Gen3两种机器人平台上，基于预定义指令诱导受试者产生如忽略机器人、不抓取物体、不释放物体或掉落物体等典型人类主导的失败行为，共采集589次试验，涵盖22类家居物品。数据采集同步记录了机器人腕部摄像头RGB视频、关节状态（位置、速度、力矩）及力-扭矩传感器读数，并经过重采样与时间对齐处理，确保多模态数据帧级同步。训练集、验证集与测试集按受试者无交叉原则划分，分别包含337、101与151次试验。

特点

该数据集的独到之处在于其系统性涵盖了机器人至人（R2H）与人至机器人（H2R）两种交接方向中由人类引发的失败模式，包括不接近、不抓取、不释放及掉落物体四类典型故障，并依据交接阶段（接近、传递、收回）对目标进行解构。多模态数据融合了视觉、力觉与关节状态信息，其中力-扭矩数据与夹爪状态经归一化处理以适配模型输入。每段视频均配有精细的帧级标注，包括机器人动作（基于关节状态自动提取）与人类动作（手工标注交接阶段及非标行为），同时提供试验整体结果标签。数据按受试者独立划分，支持跨受试者泛化评估；机器人平台与交接方向作为元数据内嵌，便于分析领域迁移与任务特异性。此外，数据集已集成至Codabench基准平台，支持可复现的失败检测性能评测。

使用方法

该数据集适用于两种基准范式：其一为基于视频的分类方法，采用预训练的膨胀3D卷积网络（I3D），通过晚期或中期融合策略整合RGB、光流、力-扭矩与夹爪状态特征，从等间隔采样的64帧序列中推断交接结果；其二为时间动作分割方法，基于多阶段时间卷积网络（MS-TCN），以I3D特征、力-扭矩与夹爪状态为输入，联合预测每帧的人类动作、机器人动作及整体结果，利用动作相关性提升失败检测的可解释性。模型训练采用交叉熵损失与平滑正则化，并通过消融实验验证各模态贡献。数据集支持跨机器人泛化测试（如HSR→Kinova）及任务分离训练（R2H与H2R独立评估），为在线失败检测与因果预测提供了扩展基础。

背景与挑战

背景概述

在人机协作与物理人机交互的广阔领域中，物体交接是一项基础且关键的操作，其成功与否直接关系到任务执行的安全性与效率。然而，即便是在人际交接中，由于沟通失误、意图误解或物体属性意外等因素，失败亦时有发生。针对这一问题，现有研究多聚焦于预防因物体滑落或外部扰动导致的失败，却鲜有涉及由人类参与者行为引发且难以预防的失败类型。为填补这一空白，Santosh Thoduka、Nico Hochgeschwender、Juergen Gall 和 Paul G. Plöger 等研究者在2024年提出了多模态手物交接失败检测（Handover Failure Detection, HFD）数据集。该数据集创建于2024年，由德国波恩-莱茵-锡格应用技术大学、不莱梅大学、波恩大学及拉马尔机器学习与人工智能研究所联合开发。核心研究问题在于如何利用多模态数据（包括视频、力-扭矩传感器读数及机器人关节状态）有效检测由人类参与者故意诱导的失败，如忽略机器人、未抓取物体或未释放物体等。HFD数据集不仅为机器人故障检测提供了宝贵的基准，还推动了人机交接领域从单纯的失败预防向失败检测与应对的范式转变，对提升机器人系统的鲁棒性与安全性具有重要影响力。

当前挑战

HFD数据集所解决的领域问题核心在于人机物体交接过程中，由人类参与者行为引发的失败检测。此类失败具有不可预测性与不可预防性，传统基于物理信号（如物体滑落）的检测方法难以适用。具体挑战包括：1) 数据稀缺性：自然发生的失败频率极低，且部分失败类型可能损坏机器人或物体，因此必须通过人为诱导来平衡正常与失败样本，这增加了数据采集的难度与复杂性。2) 多模态融合的复杂性：虽然视频是检测失败的关键模态，但力-扭矩数据与夹爪位置信息的融入可显著提升检测精度，然而如何高效融合这些异构数据（如I3D网络中的中间融合与晚期融合策略）仍是一个技术难点。3) 动作分割与在线检测：当前基线方法仅在完整试验后分类结果，而机器人需要在失败发生瞬间做出实时响应。将时间动作分割网络（如MS-TCN）调整为因果预测模式，以支持在线失败识别，是未来的重要研究方向。4) 跨平台泛化：不同机器人平台（如Toyota HSR与Kinova Gen3）在视角、外观与运动模式上的差异，导致模型泛化能力受限，需进一步探索域适应技术以提升鲁棒性。

常用场景

经典使用场景

在人机协作的广阔图景中，物体交接是一项频繁且关键的基础交互动作，然而，由于沟通误解、意图误判或人类参与者的非预期行为，交接失败屡见不鲜。Handover Failure Detection (HFD) 数据集应运而生，其最经典的使用场景聚焦于检测由人类参与者引发的交接失败，例如忽略机器人、未抓取物体或未释放物体等行为。该数据集通过采集多模态数据——包括机器人搭载摄像头的RGB视频、力-力矩传感器读数以及机器人关节状态——为研究者提供了真实、细致的失败实例，从而支持对机器人向人（R2H）和人向机器人（H2R）两种交接方向的失败检测研究。这一场景不仅填补了现有数据集在人类诱导失败方面的空白，更成为评估机器人鲁棒性与容错能力的重要基准。

衍生相关工作

HFD数据集的发布催生了一系列衍生经典工作，深化了人机交接失败检测的理论与方法。其中，基于3D卷积网络（I3D）的多模态融合变体成为重要基线，研究者探索了RGB流、光流与力-力矩特征的早期融合与后期融合策略，证明了视觉与力觉信号的互补性。此外，多阶段时序卷积网络（MS-TCN）被引入进行人类动作分割，通过联合预测人类动作、机器人动作与整体交接结果，实现了对失败原因与发生时刻的细粒度解析。这些工作不仅提升了检测准确率（如在多模态设置下达到71.4%的准确率），还推动了在线因果预测与解释性分析的发展，为未来机器人自主恢复与智能响应提供了理论支撑。该数据集还被用于Codabench基准平台，成为人机交互领域标准化评估的标杆。

数据集最近研究

最新研究方向

在人机协作与物理交互领域，物体交接作为一项基础而关键的任务，其失败检测与预防机制日益受到学界关注。Handover Failure Detection (HFD) 数据集应运而生，聚焦于由人类参与者引发的不可预防性失败，如忽视机器人或未释放物体等行为，填补了现有研究多集中于物体滑落或外部扰动等物理层面失败的空白。该数据集融合视频、力-扭矩传感器及机器人关节状态等多模态信息，为构建更鲁棒的交接失败检测基准提供了重要资源。前沿研究方向正从单一视频分类转向结合多模态特征与时间动作分割的联合建模，例如基于3D CNN的视频分类网络与多阶段时序卷积网络（MS-TCN）的应用，不仅提升了失败检测的准确性，还增强了对人类与机器人动作的细粒度理解。这一进展与医疗护理机器人等热点应用场景紧密相连，特别是在METRICS HEART-MET竞赛等基准测试中，通过注入人为诱导的失败模式，推动了机器人在真实动态环境中故障容错与安全交互能力的评估与提升。HFD数据集的发布，为迈向更智能、更安全的人机交接系统奠定了关键的数据基础与评估范式。

相关研究论文

• A Multimodal Handover Failure Detection Dataset and Baselines

  波恩-莱茵-锡格应用技术大学 · 2024年