LLVisionQA, LLDescribe

LLVisionQA数据集包含2,990张多样来源的图片，每张图片附有人类提出的关于其低级属性的问题，用于评估MLLMs的低级视觉感知能力。LLDescribe数据集包含499张图片，每张图片都有专家标注的详细低级文本描述，用于评估MLLMs的低级视觉描述能力。

The LLVisionQA dataset contains 2,990 images from diverse sources. Each image is paired with human-posed questions regarding its low-level attributes, which is intended to evaluate the low-level visual perception capabilities of MLLMs. The LLDescribe dataset includes 499 images, each accompanied by detailed expert-annotated low-level textual descriptions, which is designed to assess the low-level visual description capabilities of MLLMs.

搜集汇总

背景与挑战

背景概述

LLVisionQA和LLDescribe是Q-Bench基准测试中的两个数据集，分别用于评估多模态大语言模型在低层视觉任务中的感知和描述能力。LLVisionQA通过多选问题测试模型对图像低层属性的理解，而LLDescribe则评估模型生成图像低层描述文本的完整性、精确性和相关性。这些数据集支持开源和闭源模型的测试与比较，旨在推动低层视觉领域的研究进展。