TH ¨OR-MAGNI Act

TH ¨OR-MAGNI Act数据集是由厄勒布鲁大学和慕尼黑工业大学合作创建的，旨在模拟工业环境中的人类与机器人互动。该数据集包含8.3小时的精细动作标签，来源于参与者佩戴眼动追踪眼镜录制的视频，涵盖了多种语义和空间情境。数据集的创建过程包括手动标注动作标签，并与高质量的多模态数据（如眼动和运动捕捉数据）对齐。TH ¨OR-MAGNI Act数据集主要用于动作条件下的轨迹预测和联合动作与轨迹预测任务，旨在提升复杂环境中人机交互的安全性和可靠性。The THÖR-MAGNI Act dataset was co-created by Örebro University and Technical University of Munich, aiming to simulate human-robot interaction in industrial environments. This dataset contains 8.3 hours of fine-grained action labels sourced from videos recorded by participants wearing eye-tracking glasses, covering a variety of semantic and spatial scenarios. The dataset creation process includes manual annotation of action labels, which are aligned with high-quality multimodal data such as eye-tracking and motion capture data. The THÖR-MAGNI Act dataset is primarily used for action-conditioned trajectory prediction, joint action and trajectory prediction tasks, with the goal of improving the safety and reliability of human-robot interaction in complex environments.

原始信息汇总

THÖR-MAGNI Act 数据集概述

数据集简介

THÖR-MAGNI Act 数据集是一个用于人机共享工业空间中人体运动建模的动作数据集。该数据集提供了用于建模的原始数据、中间数据和最终处理后的数据集。

数据结构

数据集的组织结构如下：

• data/raw: 原始数据，不可变的数据集。
• data/external: 来自第三方的数据。
• data/interim: 经过转换的中间数据。
• data/processed: 最终用于建模的规范数据集。

数据预处理步骤

1. 准备 thor-magni-tools 工具。

2. 修改配置文件 cfg.yaml，设置输入路径 (in_path) 和输出路径 (out_path)。

3. 从 thor-magni-tools 运行预处理脚本：

   python -m thor_magni_tools.run_preprocessing

4. 检查 data/external 目录。

5. 对每个预处理的场景目录，运行以下命令以对齐动作和轨迹数据：

   unzip data/processed/thor_magni/QTM_frames_actions.zip -d data/processed/thor_magni/ && python -m thor_magni_tools.run_actions_merging --actions_path data/processed/thor_magni/QTM_frames_actions.csv --files_dir outputs/data/thor_magni/Scenario_{ID}/ --out_path data/interim/thor_magni/

6. 计算特征：

   python -m thor_magni_actions.features.build_features data/interim/thor_magni data/interim/thor_magni

7. 创建固定长度的轨迹片段数据集：

   python -m thor_magni_actions.data.make_dataset thor_magni data/interim/thor_magni data/processed/thor_magni

模型训练与验证

运行 k-fold 交叉验证和多任务学习方法：

python -m thor_magni_actions.data_modeling.runners.k_fold_cv 5 thor_magni_actions/data_modeling/cfgs/mtl_tf.yaml

搜集汇总

数据集介绍

构建方式

TH ¨OR-MAGNI Act数据集通过在实验室环境中模拟工业物流场景，捕捉了参与者与机器人互动的多样化行为。该数据集扩展了原有的TH ¨OR-MAGNI数据集，提供了8.3小时的手动标注动作数据，这些数据来源于参与者佩戴的眼动追踪眼镜记录的视角视频。动作标签与高质量的多模态数据（包括视角注视和第三人称运动捕捉数据）对齐，确保了动作与运动轨迹的精确关联。通过手动标注和眼动追踪软件的‘Event Marker’功能，标注了动作切换点，如抓取物体或交付物品，确保了标注的高质量。

使用方法

TH ¨OR-MAGNI Act数据集可用于多种任务，包括动作条件下的轨迹预测和联合动作与轨迹预测。研究者可以利用数据集中的动作标签、位置、速度和代理类别等信息，训练基于Transformer的预测模型。例如，动作条件下的轨迹预测任务旨在根据观察到的动作和代理类别预测未来的轨迹，而联合预测任务则同时预测未来的轨迹和相应的动作序列。数据集的公开存储库提供了详细的文档和使用指南，便于研究者进行数据的可视化和模型训练。

背景与挑战

背景概述

TH ¨OR-MAGNI Act数据集由瑞典Örebro大学和德国慕尼黑工业大学的研究团队共同创建，旨在解决工业环境中人机交互中的动作和轨迹预测问题。该数据集是TH ¨OR-MAGNI数据集的扩展，提供了8.3小时的手动标注动作数据，这些数据来源于参与者佩戴的眼动追踪眼镜记录的视角视频。TH ¨OR-MAGNI Act数据集的核心研究问题是如何在复杂的工业环境中，通过细粒度的动作标签来提高人机交互的安全性和效率。该数据集的创建填补了现有数据集在工业环境中动作标签稀缺的空白，对推动人机交互和机器人导航领域的研究具有重要意义。

当前挑战

TH ¨OR-MAGNI Act数据集面临的挑战主要集中在两个方面：一是如何准确地标注复杂工业环境中的细粒度动作，这需要高度专业化的标注工具和方法；二是如何利用这些标注数据来提升动作和轨迹预测模型的性能。此外，数据集中动作标签的长尾分布也为模型训练带来了挑战，需要开发能够有效处理不平衡数据的算法。最后，数据集的多模态特性，包括视角视频、眼动追踪数据和运动捕捉数据，要求模型能够整合多种信息源，以实现更精确的预测。

常用场景

经典使用场景

TH ¨OR-MAGNI Act数据集在工业环境中的人机交互研究中展现了其经典应用场景。该数据集通过结合眼动追踪技术记录的8.3小时的第一人称视角视频，提供了详细的动作标签，这些标签与第三视角的运动捕捉数据同步，使得机器人能够预测人类的长期运动轨迹和动作。具体应用包括动作条件下的轨迹预测和联合动作与轨迹预测，这两种任务通过高效的基于Transformer的模型得以实现，显著提升了预测精度。

解决学术问题

TH ¨OR-MAGNI Act数据集解决了工业环境中人机交互中的关键学术问题，即如何准确预测人类的动作和轨迹。传统的数据集多集中于公共空间中的社交导航，而TH ¨OR-MAGNI Act则填补了这一空白，提供了工业环境中人类与机器人互动的详细动作标签。这不仅有助于提升机器人对人类行为的理解，还为开发更安全、更高效的人机交互系统提供了数据支持。

实际应用

在实际应用中，TH ¨OR-MAGNI Act数据集为工业环境中的自动化系统提供了重要的支持。例如，在物流和制造领域，机器人可以通过该数据集学习如何预测工人的动作，从而优化工作流程，减少碰撞风险。此外，该数据集还可用于开发智能监控系统，实时分析工人的行为，确保工作场所的安全性和效率。

数据集最近研究

最新研究方向

TH ¨OR-MAGNI Act数据集在人机交互领域的最新研究方向主要集中在工业环境中的人类动作与轨迹预测。该数据集通过结合高精度的多模态数据，包括眼动追踪视频和动作标签，为研究者提供了丰富的数据资源，以开发更为精准的动作条件轨迹预测模型。研究者们利用这一数据集，探索了基于Transformer的预测框架，通过多任务学习实现了联合动作与轨迹预测，显著提升了预测模型的性能。这一研究不仅填补了工业环境中人类动作数据集的空白，还为复杂环境中的人机交互提供了新的研究视角和方法。

相关研究论文

• THÖR-MAGNI Act: Actions for Human Motion Modeling in Robot-Shared Industrial Spaces

  厄勒布鲁大学 · 2024年