THUDM/AlignMMBench

AlignMMBench是一个用于评估中文多模态对齐的大型视觉语言模型的基准测试数据集。该数据集包含单轮和多轮对话场景，涵盖三个类别和十三个能力任务，共有4,978个问答对。数据集的特点包括高质量的人工注释、引入基于ChatGLM3-6B的CritiqueVLM评估器以提高对齐评估的可控性，以及多样化的数据。数据集的使用受CC BY-NC-SA 4.0许可证的约束。

AlignMMBench is a benchmark dataset for evaluating large vision-language models on Chinese multimodal alignment. This dataset encompasses single-turn and multi-turn dialogue scenarios, covering three categories and thirteen capability tasks, with a total of 4,978 question-answer pairs. The dataset features high-quality manual annotations, the adoption of the CritiqueVLM evaluator based on ChatGLM3-6B to improve the controllability of alignment evaluation, and diverse data. The use of this dataset is governed by the CC BY-NC-SA 4.0 license.

原始信息汇总

AlignMMBench: Evaluating Chinese Multimodal Alignment in Large Vision-Language Models

数据集概述

基本信息

• 许可证: CC BY-NC-SA 4.0
• 任务类别: 视觉问答
• 语言: 中文
• 标签: 图像, 对齐
• 数据集名称: AlignMMBench
• 数据集大小: 1K<n<10K

数据集介绍

• 数据集类型: 多模态对齐基准
• 场景: 包含单轮和多轮对话场景
• 任务类别: 三类，共十三项能力任务
• 数据量: 4,978个问答对

特点

1. 高质量标注: 经过细致的人工标注和多阶段质量控制流程。
2. 自我批评: 引入基于ChatGLM3-6B的CritiqueVLM评估器，经过规则校准和精细调整，评估一致性超过GPT-4。
3. 数据多样性: 包含三类和十三项能力任务，涵盖单轮和多轮对话场景。

许可证

• 数据集和原始视频的使用受Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International (CC BY-NC-SA 4.0)许可证约束。

引用

bibtex @misc{wu2024alignmmbench, title={AlignMMBench: Evaluating Chinese Multimodal Alignment in Large Vision-Language Models}, author={Yuhang Wu and Wenmeng Yu and Yean Cheng and Yan Wang and Xiaohan Zhang and Jiazheng Xu and Ming Ding and Yuxiao Dong}, year={2024}, eprint={2406.09295}, archivePrefix={arXiv} }

搜集汇总

背景与挑战

背景概述

AlignMMBench是一个中文多模态对齐基准数据集，专注于视觉问答任务，包含4,978个问答对，涵盖单轮和多轮对话场景。该数据集具有高质量的人工标注和多样性能力任务，旨在评估大型视觉语言模型的对齐性能。