IllusionVQA

IllusionVQA是由孟加拉工程技术大学创建的一个挑战性视觉错觉数据集，旨在测试视觉语言模型（VLM）对复杂光学错觉的理解和定位能力。该数据集包含435个实例，涵盖12种不同的光学错觉类别，每个实例包括一张包含错觉的图像、一个问题和多个选择题选项。数据集通过从互联网收集并手动筛选高质量的光学错觉图像，确保了数据的多样性和挑战性。IllusionVQA的应用领域包括评估和提升VLM在处理视觉错觉和复杂场景理解方面的能力，特别是在机器人导航和交互等实际应用中。IllusionVQA is a challenging visual illusion dataset developed by Bangladesh University of Engineering and Technology. It is designed to evaluate the comprehension and localization abilities of vision-language models (VLMs) regarding complex optical illusions. The dataset comprises 435 instances covering 12 distinct optical illusion categories, with each instance containing an illusion-embedded image, a corresponding question, and several multiple-choice options. To ensure data diversity and challenge, high-quality optical illusion images were collected from the Internet and manually screened. Application domains of IllusionVQA include assessing and improving the capabilities of VLMs in handling visual illusions and complex scene understanding, particularly in practical scenarios such as robotic navigation and interaction.

搜集汇总

数据集介绍

构建方式

在视觉语言模型评估领域，构建具有挑战性的基准数据集对于深入理解模型认知能力至关重要。IllusionVQA数据集的构建过程体现了严谨的学术方法。研究团队首先从多个在线资源库中系统性地爬取了超过3500幅光学错觉图像，随后通过人工审查确保每幅图像均符合光学错觉的严格定义。为进一步提升数据质量，团队采用GPT4V作为初步筛选工具，仅保留那些能够成功欺骗当前先进模型的图像，最终精选出374幅高质量错觉图像作为数据基础。针对这些图像，研究者精心设计了两种任务形式：在理解任务中，为每幅图像手工构建了具有唯一明确答案的多选题，并依据认知心理学框架将错觉划分为12个类别；在软定位任务中，则通过程序化方式将几何不可能物体与普通物体并置，生成了1000个平衡样本，以评估模型的空间推理与错觉定位能力。

特点

IllusionVQA数据集的核心特征在于其多样性与挑战性的有机结合。该数据集涵盖了从经典不可能物体到复杂场景错觉等12个类别，超越了以往仅关注颜色或大小等单一错觉类型的数据集，提供了更全面的评估维度。每个理解任务实例均包含3至6个选项，其中错误选项经过精心设计，既包含最常见的误读，也融入了视觉语言模型在仅接受文本提示时产生的错误描述，从而有效检验模型对视觉信息的依赖程度。与同类数据集相比，IllusionVQA摒弃了简单的二元判断形式，采用自然语言多选题框架，平均答案长度达55.4字符，更贴近真实世界的复杂推理场景。此外，数据集严格避免了合成图像的过度使用，全部采用真实世界收集的错觉图像，确保了评估场景的生态效度与多样性。

使用方法

该数据集为评估视觉语言模型在错觉理解与定位方面的能力提供了标准化框架。研究者通常采用零样本与少样本两种设置进行评估：在理解任务中，可从四个主要错觉类别中各选取一例作为少样本示例；在软定位任务中，则需涵盖四种可能答案的示例以实现平衡评估。评估时需将图像统一缩放至512像素并保持宽高比，对于定位任务还需进行灰度转换以排除颜色干扰。实验设计应包含链式思维推理的对比分析，以探究不同提示策略对模型性能的影响。值得注意的是，由于数据集中错觉的复杂特性，开放域生成式评估可能引入额外噪声，因此建议优先采用多选择题的封闭式评估范式。该数据集尤其适用于检验模型在机器人视觉等现实应用场景中处理感知模糊性的鲁棒性，为模型改进提供了明确的性能基准与错误分析方向。

背景与挑战

背景概述

随着视觉语言模型在跨模态理解领域的快速发展，其视觉感知与常识推理能力已成为评估人工智能认知水平的关键维度。在此背景下，IllusionVQA数据集应运而生，由孟加拉国工程技术大学、加州大学洛杉矶分校及河滨分校的研究团队于2024年共同构建。该数据集聚焦于探索视觉语言模型对光学幻觉这一特殊视觉现象的理解能力，核心研究问题在于检验模型在面对图像本身违反物理规律或感知逻辑时的响应机制。通过设计包含理解与软定位的双重任务，IllusionVQA系统性地评估模型在复杂视觉场景下的认知鲁棒性，为揭示人工智能与人类视觉认知机制的差异提供了重要的实验平台，对推动具身智能及机器人视觉系统的安全部署具有深远影响。

当前挑战

IllusionVQA所针对的领域问题在于评估视觉语言模型对光学幻觉的认知与定位能力，其核心挑战在于模型需克服视觉先验误导，实现超越表层感知的深层空间与几何推理。现有顶尖模型如GPT-4V在理解任务中准确率仅为62.99%，较人类91.03%的表现存在显著差距；在定位任务中模型表现更为薄弱，凸显其在处理悖论图形等非现实结构时的固有缺陷。数据构建过程中的挑战主要体现在幻觉图像的筛选与标注上：需从海量网络资源中人工甄别高质量、多样化的光学幻觉实例，并依据认知心理学框架将其划分为12个类别；同时，为每幅图像设计具有明确单一答案的多选题项，需平衡问题的挑战性与答案的无歧义性，避免语言先验对模型评估的干扰，这一过程依赖严格的专家审核与对抗性选项生成策略。

常用场景

经典使用场景

在视觉语言模型（VLM）的研究领域，IllusionVQA数据集被广泛用于评估模型对光学幻觉的理解与定位能力。该数据集通过精心设计的视觉问答任务，要求模型在包含12类光学幻觉的图像中，从多个选项中识别出唯一正确的描述或定位幻觉区域。这一经典场景不仅测试了模型的基础视觉识别能力，更深入探究了其在面对人类视觉系统易受欺骗的复杂图像时的推理与解释能力。

实际应用

该数据集的实际应用场景主要集中在自动驾驶、机器人视觉系统等对视觉鲁棒性要求极高的领域。通过测试模型在光学幻觉、欺骗性设计及非常规图像方向上的表现，能够评估嵌入式视觉系统在真实复杂环境中的可靠性。例如，在机器人导航任务中，模型需要准确识别被遮挡物体、透视扭曲场景或几何不可能对象，避免因视觉误判导致操作失误，从而提升智能体在动态环境中的适应性与安全性。

衍生相关工作

IllusionVQA的发布促进了多项相关研究工作的开展。基于该数据集，学者们进一步探索了上下文学习与思维链推理在视觉幻觉任务中的有效性边界，发现了模型在定位任务中即使提供示例仍可能失败的局限性。同时，该工作启发了对合成幻觉生成算法、模型对抗性样本鲁棒性以及多模态注意力机制的研究，为构建更接近人类视觉认知的通用视觉模型提供了新的实验范式和理论依据。