LLaVA-NeXT-Interleave-Bench

LLaVA-Interleave Bench 是一套综合性的多图像数据集，来源于公共数据集或由 GPT-4V API 生成，用于评估 LMM 的交错多图像推理能力。该数据集包含近 4 万个样本，主要用于视觉问答和问题回答任务。数据集以 JSON 格式存储，并提供图像数据。它采用 CC-BY 4.0 许可协议，并应遵守 OpenAI 的使用条款。研究人员可以利用它进行大型多模态模型和聊天机器人的研究，并提供标准化数据操作。LLaVA-Interleave Bench is a comprehensive multi-image dataset sourced from public datasets or generated via the GPT-4V API, developed to evaluate the interleaved multi-image reasoning capabilities of Large Multimodal Models (LMMs). This dataset comprises nearly 40,000 samples, primarily targeting visual question answering and general question answering tasks. It is stored in JSON format with accompanying image data. The dataset is licensed under CC-BY 4.0 and must adhere to OpenAI's Terms of Use. Researchers can leverage it for research on large multimodal models and chatbots, as it provides standardized data manipulation functionalities.

搜集汇总

背景与挑战

背景概述

LLaVA-NeXT-Interleave-Bench是一个用于评估大型多模态模型交错多图像推理能力的综合性数据集，包含近4万个样本，来源于公共数据或GPT-4V生成，主要用于视觉问答任务。它以JSON和图像格式存储，采用CC-BY 4.0许可，适用于研究人员进行多模态模型研究。