lmms-lab/ChartQA

---
dataset_info:
features:
- name: type
dtype: string
- name: question
dtype: string
- name: answer
dtype: string
- name: image
dtype: image
splits:
- name: test
num_bytes: 122161182.0
num_examples: 2500
download_size: 72610993
dataset_size: 122161182.0
configs:
- config_name: default
data_files:
- split: test
path: data/test-*
---

<p align="center" width="100%">
<img src="https://i.postimg.cc/g0QRgMVv/WX20240228-113337-2x.png" width="100%" height="80%">
</p>

# Large-scale Multi-modality Models Evaluation Suite

> Accelerating the development of large-scale multi-modality models (LMMs) with `lmms-eval`

🏠 [Homepage](https://lmms-lab.github.io/) | 📚 [Documentation](docs/README.md) | 🤗 [Huggingface Datasets](https://huggingface.co/lmms-lab)

# This Dataset

This is a formatted version of [ChartQA](https://github.com/vis-nlp/ChartQA). It is used in our `lmms-eval` pipeline to allow for one-click evaluations of large multi-modality models.

```
@article{masry2022chartqa,
title={ChartQA: A benchmark for question answering about charts with visual and logical reasoning},
author={Masry, Ahmed and Long, Do Xuan and Tan, Jia Qing and Joty, Shafiq and Hoque, Enamul},
journal={arXiv preprint arXiv:2203.10244},
year={2022}
}
```

dataset_info:
特征:
- 字段名: type, 数据类型: 字符串
- 字段名: question, 数据类型: 字符串
- 字段名: answer, 数据类型: 字符串
- 字段名: image, 数据类型: 图像
splits:
- 划分名称: test, 字节大小: 122161182.0, 样本数量: 2500
download_size: 72610993
dataset_size: 122161182.0
configs:
- 配置名称: default, 数据文件:
- 划分test, 文件路径: data/test-*

<p align="center" width="100%"><img src="https://i.postimg.cc/g0QRgMVv/WX20240228-113337-2x.png" width="100%" height="80%"></p>

# 大规模多模态模型评测套件

> 依托`lmms-eval`加速大规模多模态模型（Large-scale Multi-modality Models, LMMs）的研发

🏠 [项目主页](https://lmms-lab.github.io/) | 📚 [文档](docs/README.md) | 🤗 [Huggingface数据集仓库](https://huggingface.co/lmms-lab)

# 本数据集

本数据集是[ChartQA](https://github.com/vis-nlp/ChartQA)的格式化版本，被应用于我们的`lmms-eval`评测流程中，可实现大规模多模态模型的一键评测。

@article{masry2022chartqa,
title={ChartQA：面向图表的视觉与逻辑推理问答基准数据集},
author={Masry, Ahmed and Long, Do Xuan and Tan, Jia Qing and Joty, Shafiq and Hoque, Enamul},
journal={arXiv预印本 arXiv:2203.10244},
year={2022}
}

原始信息汇总

数据集概述

数据集信息

特征

• 类型: 字符串
• 问题: 字符串
• 答案: 字符串
• 图像: 图像

数据分割

• 测试集:
  • 字节数: 122161182.0
  • 样本数: 2500

数据大小

• 下载大小: 72610993
• 数据集大小: 122161182.0

配置

• 默认配置:
  • 数据文件路径: data/test-*

数据集来源

• 该数据集是ChartQA的格式化版本，用于lmms-eval管道中，以支持一键评估大型多模态模型。

搜集汇总

数据集介绍

构建方式

ChartQA数据集的构建源于对图表理解与推理能力的深度探索，旨在填补多模态大模型在视觉与逻辑推理任务中的评估空白。该数据集以原始ChartQA基准为基础，通过系统化格式转换与标准化处理，形成适配于lmms-eval评估管道的结构化版本。数据涵盖图表类型、问题、答案及对应图像四类字段，其中测试集包含2500个精心设计的样本，确保评估过程的严谨性与可重复性。构建过程中，研究团队保留了原始数据中图表与问答对的多模态关联，同时优化了数据组织形式，以支持一键式模型性能评测。

使用方法

ChartQA数据集的使用方法高度集成于lmms-eval评估框架中，支持研究者通过简洁的命令行接口完成模型性能的自动化评测。用户可直接从HuggingFace数据集仓库加载预处理的测试集，利用lmms-eval提供的标准化流水线，无需额外数据预处理。在评估过程中，模型需接收图表图像与自然语言问题作为输入，并输出对应答案，系统自动与标注答案进行比对以计算准确率。该数据集同时兼容自定义模型接口，允许用户灵活扩展至新架构，从而推动多模态推理技术的迭代发展。

背景与挑战

背景概述

图表数据作为信息可视化的重要载体，在商业分析、科学传播和新闻媒体等领域中扮演着不可或缺的角色。然而，现有视觉问答基准多聚焦于自然图像，对图表这类结构化图像的逻辑推理能力评估存在明显缺口。ChartQA数据集由Ahmed Masry、Do Xuan Long、Jia Qing Tan、Shafiq Joty和Enamul Hoque等研究人员于2022年提出，旨在系统性地评估模型在图表理解与问答任务上的表现。该数据集涵盖多种图表类型与复杂问题，不仅要求模型具备视觉感知能力，更强调对数据关系、趋势和数值的推理能力。作为大规模多模态模型评测套件lmms-eval的核心组件之一，ChartQA为衡量和推动多模态大模型在图表领域的认知水平提供了标准化基准，对智能数据分析与自动化报告生成等应用具有重要影响。

当前挑战

ChartQA所面临的挑战首先体现在领域问题层面：图表问答不同于自然图像问答，需要模型理解坐标轴、图例、数据标签等结构化元素，并执行数值比较、趋势推断和逻辑推理等高级认知任务，这对现有视觉语言模型的感知与推理能力提出了严峻考验。其次，在数据集构建过程中，研究者需要克服图表数据多样性与问题复杂性的平衡难题，确保覆盖柱状图、折线图、饼图等多种类型，同时设计出既包含直接查询又涉及多步推理的问题集合。此外，答案标注的准确性至关重要，尤其是涉及数值计算和逻辑判断的问题，需要人工严格校验以避免歧义。最后，数据集的规模与代表性也构成挑战，如何在有限样本中涵盖足够的图表样式和问题形式，从而有效评估模型泛化能力，是构建过程中需要持续优化的方向。

常用场景

经典使用场景

ChartQA数据集作为多模态大模型评估体系中的核心基准，被广泛用于测试模型对图表的理解与推理能力。该数据集包含2500个测试样本，每个样本由图表图像、自然语言问题及标准答案构成，要求模型在视觉与逻辑推理层面协同运作。研究者常利用该数据集评估模型在解析柱状图、折线图、饼图等常见图表类型时的表现，尤其关注模型能否从复杂视觉元素中提取数值关系、趋势变化及隐含结论。其经典使用场景聚焦于量化模型在图表问答任务上的准确率与鲁棒性，为多模态领域提供了标准化评估框架。

解决学术问题

ChartQA有效解决了图表理解研究中缺乏高质量、大规模标注数据的困境，填补了视觉问答领域对逻辑推理能力评估的空白。传统视觉问答数据集多关注自然场景图像，而图表数据需要模型同时处理文本、数值与空间布局信息，对符号推理和数学运算能力提出更高要求。该数据集通过引入需要多步推理的复杂问题，挑战了现有模型在抽象概念理解与跨模态对齐上的局限，推动了多模态大模型从感知层面向认知层面的跃迁，显著提升了学术界对图表智能解析能力的关注度与研究深度。

实际应用

在实际应用中，ChartQA驱动的技术可直接赋能自动化数据分析与商业智能系统。例如，金融分析师可借助模型快速提取财报图表中的关键指标，教育领域能实现图表题目的自动批改与讲解，新闻机构则能高效生成数据可视化内容的文字摘要。此外，该数据集训练的模型可集成至辅助决策工具中，帮助非专业用户通过自然语言交互方式解读复杂图表，降低数据理解门槛。这些应用场景显著提升了人机协同效率，将视觉数据转化为可操作洞察。

数据集最近研究

最新研究方向

ChartQA数据集作为多模态大模型评估体系中的关键基准，近期研究聚焦于提升模型对图表数据的视觉与逻辑推理能力。随着多模态大模型（LMMs）在视觉问答、文档理解等领域的迅猛发展，ChartQA通过整合复杂图表（如柱状图、折线图、饼图）与自然语言问题，推动了模型在数值计算、趋势分析和多步推理上的突破。前沿研究方向包括利用指令微调（instruction tuning）和链式思维（chain-of-thought）策略增强模型对图表结构的感知，以及探索跨模态对齐技术来弥合视觉与文本信息的鸿沟。该数据集在2024年与GPT-4V、Gemini等模型评估紧密关联，其标准化格式（如lmms-eval集成）促进了大规模、可复现的模型性能对比，对推动智能体在金融分析、教育科技等场景的落地具有里程碑意义。