MM-Hallu/OpenCHAIR

OpenCHAIR是一个用于评估图像字幕模型对象幻觉的数据集。它包含与描述性字幕配对的图像，用于评估视觉语言模型是否会在图像中幻觉出不存在的对象。数据集结构包括image（输入图像）和text（图像的描述性字幕）。测试集包含4,863个示例。该数据集是从moranyanuka/OpenCHAIR转换而来，用于MM-Hallu基准测试集合。

OpenCHAIR is an object hallucination evaluation dataset for image captioning models. It contains images paired with descriptive captions and is used to assess whether vision-language models hallucinate objects that are not present in the images. The dataset structure includes image (the input image) and text (the descriptive caption for the image). The dataset contains 4,863 examples in the test split. This dataset was converted from moranyanuka/OpenCHAIR for the MM-Hallu benchmark collection.

搜集汇总

数据集介绍

构建方式

OpenCHAIR数据集旨在评估图像描述模型的对象幻觉现象，其构建基于对现有数据资源的精细整合与标注。该数据集包含了4,863张图像，每张图像均附有描述性文字说明。这些图像及其对应描述源自COCO数据集，并通过引入CHAIR指标进行系统性评估，以检测模型是否生成了图像中并不存在的对象。数据集的构建重点在于确保每张图像都有明确的真实对象列表，该列表通过COCO标注独立获取，从而为后续的幻觉率计算提供可靠的基准。

使用方法

使用OpenCHAIR数据集时，用户需首先加载图像并通过模型生成详细描述，推荐使用如“Describe this image in detail.”等统一提示以保持一致性。随后，利用语言处理工具提取描述中提及的所有对象，并将这些对象与通过COCO标注获取的真实对象列表进行比对。基于比对结果，计算CHAIR_s和CHAIR_i指标以评估模型的幻觉程度。该流程适用于各类图像描述模型的横向比较，特别关注物体幻觉行为的量化分析。

背景与挑战

背景概述

OpenCHAIR数据集由研究团队于近年创建，旨在评估图像描述模型中存在的物体幻觉现象。在视觉与语言模型（VLMs）快速发展的背景下，模型生成的描述常包含图像中并不存在的物体，即物体幻觉，这一缺陷严重制约了模型在安全敏感场景下的应用可靠性。该数据集包含4,863张图像及其描述性文本，通过基于CHAIR指标的计算，量化模型在描述时提及虚假物体的程度。其核心研究问题聚焦于如何系统性地检测和衡量视觉语言模型在物体层面的幻觉行为。OpenCHAIR的发布为多模态领域提供了一个标准化的评估基准，推动了幻觉检测方法的进步，对提升模型生成内容的真实性和可信度具有重要影响力。

当前挑战

OpenCHAIR所面临的挑战主要来自两个层面。在领域问题层面，物体幻觉是图像描述中普遍存在且难以根治的顽疾，模型常因过度泛化或错误关联而生成与图像内容不符的物体，这不仅影响描述的准确性，更对依赖视觉理解的自动系统构成潜在风险。在数据集构建层面，挑战在于获取高质量且准确的地面真相物体列表，该列表需依据COCO注释单独获取，过程中需要处理物体标注的歧义性、不同数据集间标签的协调一致，以及确保评估指标CHAIR_s和CHAIR_i能真实反映模型的幻觉程度，避免因注释偏差导致的误判。

常用场景

经典使用场景

OpenCHAIR数据集专注于评估图像描述模型中的对象幻觉现象，其经典使用场景在于为视觉语言模型提供标准化的幻觉检测基准。研究者通过输入图像并利用模型生成详细描述，随后将描述中提及的对象与COCO数据集提供的真实对象列表进行比对，借助CHAIR指标（包括CHAIR_s和CHAIR_i）量化模型描述与图像实际内容的偏离程度。这一过程能够系统性地揭示模型在生成描述时凭空虚构不存在的对象或遗漏实际对象的倾向，从而为模型的可靠性评估提供关键参考。

解决学术问题

该数据集主要解决了视觉语言模型领域长期存在的对象幻觉评估难题，即如何客观且可重复地衡量模型生成描述与图像真实内容的一致性。在学术研究中，OpenCHAIR通过提供规模达4,863张的图像-描述对，并搭配严谨的CHAIR评价体系，使得研究者能够标准化地比较不同模型在对象幻觉上的表现差异。其核心意义在于推动了模型可解释性和可控性的研究，使学者们能够深入剖析幻觉产生的根源——例如注意力机制偏差或语言先验影响——进而指导更鲁棒的模型架构设计与训练策略优化。

实际应用

在实际应用中，OpenCHAIR为图像描述技术的部署提供了质量监控工具。当自动图像描述系统被应用于辅助视障人士的场景时，对象幻觉可能导致严重误导，该数据集能够帮助开发者筛选出描述准确、无虚构对象的可靠模型。在医疗影像报告生成、自动驾驶场景理解等对精确性要求极高的领域，OpenCHAIR支持的评估流程可以预防因模型虚构对象而引发的决策失误，从而提升人机交互的安全性与信任度。此外，内容审核平台也可借助该评估范式，自动检测图片说明与图像内容是否相符，有效遏制虚假信息传播。

数据集最近研究

最新研究方向

当前，多模态大语言模型（VLM）的幻觉现象成为制约其可信落地的核心瓶颈。OpenCHAIR数据集聚焦于图像描述任务中的物体级幻觉评估，通过CHAIR指标量化模型生成内容与COCO真实标注之间的对象偏差。前沿研究正以此类基准为锚点，探索对抗性微调、因果推理与知识蒸馏等解幻策略，其意义不仅在于提升生成文本的忠实度，更推动了对VLM内在认知扭曲机制的剖析——即模型如何因训练数据偏差或注意力偏移而虚构视觉场景中不存在的实体。该数据集已成为检验模型鲁棒性的关键试金石，助力实现从“流畅生成”到“可靠描述”的范式跃迁。