VISOR（EPIC-KITCHENSVISOR）

我们很自豪地宣布EPIC-KITCHENS遮阳板，一个新的像素注释数据集，以及一个基准套件，用于分割以自我为中心的视频中的手和活动对象。VISOR注释来自EPIC-KITCHENS的视频，这伴随着当前视频分割数据集中未遇到的一系列新挑战。具体来说，我们需要确保像素级注释的短期和长期一致性，因为对象经历了变革性的相互作用，例如洋葱被去皮，切丁和煮熟-我们的目标是获得果皮，洋葱片，砧板，刀，锅，以及演戏的手。VISOR引入了一个注释管道，部分由人工智能驱动，用于可扩展性和质量，并介绍了:We are proud to announce EPIC-KITCHENS VISOR, a novel pixel-wise annotated dataset and a benchmark suite for segmenting hands and active objects in egocentric videos. VISOR annotations are derived from videos in the EPIC-KITCHENS corpus, which introduces a set of novel challenges unaddressed in existing video segmentation datasets. Specifically, it is critical to ensure short-term and long-term consistency of pixel-level annotations when objects undergo transformative interactions, such as an onion being peeled, diced, and cooked. Our annotation targets include peels, onion slices, cutting boards, knives, pots, and the hands executing these actions. VISOR presents an annotation pipeline partially driven by AI to guarantee scalability and annotation quality, and introduces:

搜集汇总

背景与挑战

背景概述

VISOR（EPIC-KITCHENS VISOR）是一个专注于以自我为中心视频中手和活动对象像素级分割的数据集，基于EPIC-KITCHENS视频构建，引入了AI驱动的注释管道以确保对象在交互过程中的短期和长期一致性。该数据集发布于2022年，由多所大学联合发布，适用于视频预训练和视频对象分割研究，特别适合处理复杂场景如烹饪活动中的对象变换。