EgoEVHands

EgoEVHands是由浙江大学等机构创建的首个大规模真实世界立体事件相机数据集，专为第一人称手部感知设计。该数据集包含5,419个标注序列，涵盖38种手势类别，数据来源于同步立体事件流，并提供了高保真的2D/3D手部关键点标注与分割掩码。其构建过程通过自动化标注流程实现，结合了红外图像关键点检测与分割技术，确保了在多变光照条件下的数据精度。该数据集主要应用于增强/虚拟现实、人机交互与机器人领域，旨在解决传统RGB相机在动态范围、运动模糊方面的局限，以及单目事件方法在深度模糊和缺乏真实世界立体数据方面的挑战。EgoEVHands is the first large-scale real-world stereo event camera dataset developed by Zhejiang University and other institutions, tailored specifically for first-person hand perception tasks. It contains 5,419 annotated sequences spanning 38 gesture categories, derived from synchronized stereo event streams, and provides high-fidelity 2D/3D hand keypoint annotations as well as segmentation masks. The dataset was constructed via an automated annotation pipeline that integrates infrared image keypoint detection and segmentation technologies, ensuring data precision across varying lighting conditions. Primarily intended for applications in augmented reality, virtual reality, human-computer interaction and robotics, this dataset aims to mitigate the limitations of conventional RGB cameras in dynamic range and motion blur, as well as address the core challenges of monocular event-based methods, including depth ambiguity and the scarcity of real-world stereo event datasets.

原始信息汇总

根据您提供的数据集详情页面信息，以下是对该数据集的概述：

数据集概述

• 数据集名称：EgoEv-HandPose
• 论文标题：EgoEV-HandPose: Egocentric 3D Hand Pose Estimation and Gesture Recognition Based on Binocular Event Cameras
• 任务领域：基于双眼事件相机的自我中心3D手部姿态估计与手势识别
• 数据来源：双眼事件相机采集的自我中心视角数据
• 当前状态：代码、预训练模型、数据集链接及实验成果尚未上传，计划后续公开
• 实现框架：基于PyTorch实现

搜集汇总

数据集介绍

构建方式

EgoEVHands数据集基于头戴式采集系统构建，该系统集成了RealSense D435 RGB-D相机和两台Prophesee EVK4事件相机，以立体配置同步记录自中心视角下的手势交互数据。数据集包含38类手势，由10名参与者在正常光照和低光照条件下执行。标注流程采用半自动管线：首先利用Grounded-SAM从红外图像生成手部分割掩码，再通过Mediapipe检测初始2D关键点并经过人工筛选与精炼。随后，借助深度值和相机内参将2D关键点反投影至3D空间，获得稀疏的3D标注，并通过线性插值填补小时间间隔内的缺失帧。最后，利用校准后的内外参将3D关键点投影至左右事件相机平面，生成对齐的2D关键点与分割掩码，所有标注均以统一格式存储并附带可见性标志。

特点

EgoEVHands是首个大规模、真实世界的立体事件相机数据集，专为自中心手部感知而设计。其核心特点包括高动态范围（HDR）属性、立体几何约束以及双手交互支持。数据集包含5,419个带标注的序列，提供密集的3D/2D关键点、手部分割掩码及38类手势标签，覆盖单手与双手交互场景，并细分为无遮挡、自遮挡和互遮挡四种语义组。通过t-SNE可视化验证，数据集展现出高类内一致性与结构丰富性，尤其能在极低光照快速运动和严重遮挡等边缘场景中提供高质量标注。与现有事件数据集相比，EgoEVHands在样本量、手势多样性和立体同步性上均实现了显著突破。

使用方法

使用EgoEVHands数据集时，研究者可加载同步的立体事件流、红外图像、深度图及预标注的3D/2D关键点与分割掩码。数据集设计支持两种评估协议：同质分布（利用每位参与者的前三个重复序列训练，其余测试）与异质分布（指定参与者1、2、9作为测试集以评估跨身份泛化）。典型用法包括联合3D双手姿态估计与手势识别，或独立训练立体事件融合模块（如KeypointBEV）进行几何感知的深度解耦。由于所有事件数据以原始格式提供，研究可对它们进行局部归一化事件表面转换或自定义时空编码。重要的是，数据集附带了完整的标定参数和投影管线脚本，便于直接进行立体三角化或重投影损失计算。

背景与挑战

背景概述

EgoEVHands数据集由浙江大学、湖南大学和蚂蚁集团的研究团队于2026年提出，旨在应对基于传统帧相机的自我中心手部感知中存在的运动模糊与有限动态范围等固有局限。该数据集是首个大规模、真实世界的立体事件相机数据集，专门服务于自我中心视角下的双手交互3D姿态估计与手势识别研究。通过提供5,419个带密集3D/2D关键点注释的序列，覆盖38种手势类别及多种光照条件，EgoEVHands填补了事件视觉领域缺乏大规模真实立体数据的关键空白，为深入探索高动态范围、低延迟的手部感知技术奠定了坚实基础，并对增强现实、虚拟现实及人机交互领域产生了深远影响。

当前挑战

当前自我中心手部感知面临多重挑战。首先，传统RGB与深度相机对运动模糊和光照变化高度敏感，尤其在高动态场景下表现脆弱。其次，现有事件相机方法多依赖单目输入，因自运动干扰与单目深度模糊而难以精确重建三维手部姿态。此外，双手交互导致的频繁自遮挡进一步加剧了关节推断的困难。在数据集构建过程中，需解决同步立体事件流与高精度3D坐标配准的难题，并克服在低光照与快速运动条件下手动标注的复杂性。这些挑战共同制约了鲁棒且高效的自我中心手部感知系统的开发与评估。

常用场景

经典使用场景

在沉浸式增强现实与虚拟现实交互的浪潮中，精确感知手部姿态是构建自然人机界面的基石。EgoEVHands数据集以其独特的双目事件相机视角，开辟了自中心手部感知的新范式，经典地用于同步估计三维双手姿态与识别多样化手势。研究者通过解析双目事件流中的异步亮度变化信号，借助立体几何约束克服了传统RGB相机在高速运动与极端光照下的运动模糊与动态范围局限，实现了毫米级的三维手部关键点定位与38类手势的精准分类，为事件视觉驱动的自中心分析提供了标准化评测基准。

衍生相关工作

围绕EgoEVHands数据集，一系列开创性工作应运而生。其核心贡献之一——KeypointBEV模块，作为一种即插即用的立体事件融合方案，在跨架构泛化实验中展现出强大能力：当嵌入至DEV-Pose框架并在DHP19人体姿态基准上评估时，成功将平均每关节位置误差从55.53毫米降至47.88毫米，验证了该几何感知融合策略对深度模糊问题的根本性解决作用。此外，该数据集催生了EgoEV-HandPose这一端到端框架，联合优化三维关键点回归与时序手势分类，为后续研究提供了高精度与低复杂度兼得的参考范式，并启发了更多关于稀疏事件流迭代精细化、腕部归一化时序建模等方面的探索。

数据集最近研究

最新研究方向

EgoEVHands数据集引领了基于立体事件相机的自我中心手部感知研究前沿。在增强现实、虚拟现实与人机交互领域，传统RGB相机受运动模糊与低动态范围所困，而该数据集凭借其高动态范围、三维几何约束与双手交互特性，为突破这些瓶颈提供了关键基准。前沿方向聚焦于联合三维双手姿态估计与手势识别，尤其针对低光照与双手严重遮挡的极端场景，通过融合立体事件流与鸟瞰图迭代优化策略，显著提升了深度解析的鲁棒性。这一创新不仅将平均每关节位置误差降至30.54毫米、Top-1手势识别准确率提升至86.87%，更推动事件相机在可穿戴设备上的实用化，为沉浸式交互技术树立了新标杆。

相关研究论文

• EgoEV-HandPose: Egocentric 3D Hand Pose Estimation and Gesture Recognition with Stereo Event Cameras

  浙江大学·国家光学仪器工程技术研究中心; 湖南大学·人工智能与机器人学院·机器人视觉感知与控制技术国家工程研究中心; 蚂蚁集团股份有限公司; 舜宇光学科技中央研究院 · 2026年