TUM-VIE

该数据集是一个高分辨率的以自我为中心的导航集，它将立体事件与视觉-惯性轨迹对齐。此外，该数据集提供了更高分辨率的传感器，以便进行精确的研究。其规模达到了亚厘米级的惯性姿态数据，任务包括深度估计和视觉-惯性同步定位与地图构建（SLAM）。This dataset is a high-resolution egocentric navigation dataset that aligns stereo event data with visual-inertial trajectories. Additionally, it is equipped with higher-resolution sensors to enable precise research. It provides sub-centimeter-grade inertial attitude data, and the supported tasks include depth estimation and visual-inertial simultaneous localization and mapping (SLAM).

搜集汇总

数据集介绍

构建方式

TUM-VIE数据集由慕尼黑工业大学构建，旨在推动基于事件相机的三维感知与导航算法研究。该数据集采用一对硬件同步的Prophesee GEN4 CD事件相机（1280×720像素）与全局快门灰度相机（1024×1024像素，20Hz），并集成200Hz的BMI160惯性测量单元。所有传感器时间戳通过硬件同步，确保数据一致性。数据集包含48分钟的手持与头戴式序列，涵盖室内外场景、快速运动（如骑行、滑板）及高动态范围环境。通过运动捕捉系统以120Hz提供轨迹起止段的地面真值位姿，并公开了完整的标定参数（包括事件相机偏置、IMU噪声、光度校准及时间偏移）。

特点

该数据集的核心特点在于其高分辨率事件传感器（1280×720像素），相较于现有立体事件数据集（如MVSEC的346×260像素）提升了近10倍像素数，支持更精细的场景重建。其包含多种挑战性序列，如低光照（bike-dark）、高速旋转（running-hard）和高动态范围场景，导致现有视觉SLAM算法（如Basalt、VINS-Fusion）出现显著漂移或失败。此外，数据集提供了全面的标定信息，包括事件相机偏置、IMU艾伦方差参数、光度校准及硬件同步时间偏移，为算法鲁棒性评估提供了基准。头戴式序列（如骑行）为虚拟现实与可穿戴设备研究提供了独特数据。

使用方法

数据集适用于视觉惯性里程计、同时定位与地图构建、特征检测与跟踪、三维重建及传感器融合等任务。用户可直接从官方地址下载原始事件流（h5格式）、灰度帧及IMU数据，并利用提供的标定参数进行预处理。建议使用时间曲面（Time Surface）方法处理事件流以提升特征检测精度，如论文中用于AprilTag检测的增强方法。评估时，可借助运动捕捉系统提供的分段地面真值位姿计算绝对轨迹误差，并参考论文中Basalt与VINS-Fusion的默认参数进行复现。对于闭环检测研究，数据集中的多楼层序列（loop-floor0至loop-floor3）可测试事件流中的闭环识别能力。

背景与挑战

背景概述

事件相机作为一种仿生视觉传感器，通过逐像素检测亮度变化实现感知，具备低延迟、高动态范围、高时间分辨率及低功耗等优势，在机器人导航与虚拟现实领域展现出巨大潜力。然而，相较于传统帧基相机，事件相机的算法研究仍处于发展初期，亟需高质量数据集推动算法迭代。2021年，德国慕尼黑工业大学计算机视觉团队在Simon Klenk与Jason Chui的主导下，发布了TUM-VIE数据集。该数据集首次采用1280×720像素的高分辨率立体事件相机，结合全局快门灰度相机与200Hz惯性测量单元，所有传感器均实现硬件同步。数据集涵盖手持与头戴式场景，包括室内外环境、高速运动及高动态范围情境，并提供运动捕捉系统采集的120Hz真值轨迹。TUM-VIE的发布为事件视觉感知领域提供了前所未有的高分辨率基准，显著促进了立体事件视觉惯性里程计、同步定位与地图构建等核心问题的研究。

当前挑战

TUM-VIE数据集所面临的挑战主要体现在两个层面。首先，从领域问题看，事件相机在高速运动与极端光照条件下仍存在显著的感知不确定性。例如，在快速旋转、低光照或高动态范围场景中，传统视觉惯性SLAM算法（如Basalt与VINS-Fusion）往往产生较大漂移甚至完全失效，这揭示了当前算法在鲁棒性方面的瓶颈。其次，数据集构建过程本身亦充满技术难点。高分辨率事件传感器在运动捕捉系统红外光照射下会引发大量噪声事件，需设计精密的红外滤光片加以抑制；同时，多模态传感器（事件相机、灰度相机、IMU）的时空标定极为复杂，团队提出了基于时间曲面的新型事件相机标定方法，并借助Allan方差分析精确估计IMU噪声参数，才得以实现亚毫秒级的硬件同步与厘米级的外参校准。

常用场景

经典使用场景

在视觉惯性里程计与同步定位与建图的研究领域，TUM-VIE数据集凭借其高分辨率立体事件相机、高频IMU以及硬件同步的灰度帧，成为评估和开发鲁棒定位算法的标杆。其包含的手持与头戴式序列覆盖了室内外环境、高速运动（如跑步、滑板、骑行）及高动态范围场景（如低光照夜间骑行），尤其适用于测试算法在极端条件下的表现。研究者常利用该数据集对基于事件或帧的视觉SLAM系统进行轨迹精度评估，通过运动捕捉系统提供的120Hz真值，可精确量化绝对轨迹误差，从而推动感知算法在挑战性场景中的性能突破。

实际应用

在实际应用中，TUM-VIE数据集为机器人导航、增强现实和虚拟现实等前沿领域提供了关键验证平台。例如，在无人机高速飞行或头戴式设备中，传统相机因运动模糊或动态范围不足而失效，而事件相机凭借微秒级响应和140dB动态范围可维持稳定感知。该数据集中的骑行与滑板序列模拟了此类高动态场景，帮助开发者优化事件惯性里程计在快速姿态变化下的定位精度。此外，其低光照序列（如floor2-dark）直接服务于夜间自动驾驶或室内救援机器人的感知系统，推动事件相机在极端环境下的商业化落地，例如工业巡检中应对强烈反光或黑暗区域的实时建图。

衍生相关工作

TUM-VIE数据集已衍生出多项经典工作，尤其在事件相机与帧相机的融合方法上。例如，基于时间曲面的事件校准算法被用于提升AprilTag检测鲁棒性，进而优化多相机外参标定流程。在视觉惯性里程计领域，研究者利用该数据集的挑战性序列（如bike-hard）验证了事件增强的深度估计与运动补偿策略，催生了如Event-based Stereo Visual Odometry等代表性框架。此外，该数据集中的循环遍历序列（loop-floor0至floor3）为事件驱动的闭环检测提供了稀缺基准，推动了事件SLAM中回环校正技术的进展。这些工作不仅深化了对事件数据时空特性的理解，也为后续基于自监督学习的事件流表征奠定了基础。