KVQA (Knowledge-aware VQA)

KVQA 由 183K 问答对组成，涉及超过 18K 的命名实体和 24K 图像。该数据集中的问题需要在大型知识图 (KG) 上进行多实体、多关系和多跳推理才能得出答案。据我们所知，KVQA 是探索 VQA over KG 的最大数据集。此外，我们还在 KVQA 上使用最先进的方法提供基准性能。我们坚信，KVQA 将催生跨越视觉、语言、知识图谱和更广泛的人工智能领域的新研究途径。KVQA consists of 183K question-answer pairs, involving over 18K named entities and 24K images. The questions in this dataset require multi-entity, multi-relation, and multi-hop reasoning over large knowledge graphs (KG) to derive answers. To the best of our knowledge, KVQA is the largest dataset for exploring VQA over KG. In addition, we provide benchmark performance using state-of-the-art methods on KVQA. We firmly believe that KVQA will inspire new research avenues across the fields of vision, language, knowledge graphs, and broader artificial intelligence.

搜集汇总

背景与挑战

背景概述

KVQA是一个知识感知的视觉问答数据集，包含18.3万个问答对、涉及1.8万个命名实体和2.4万张图像，问题需在大型知识图谱上进行多跳推理才能解答。作为VQA over KG领域最大的数据集，它提供了基准性能，旨在推动视觉、语言和知识图谱的交叉研究。