Mike33/PolyChartQA
收藏资源简介：
PolyChartQA-Test是PolyChartQA的测试分割部分，这是一个用于图表问答的多语言多模态基准数据集。它旨在评估视觉语言模型是否能理解图表图像、阅读多语言图表文本、基于视觉证据回答问题，并在不同语言中执行数值推理。数据集包含10种语言（阿拉伯语、孟加拉语、英语、西班牙语、法语、印地语、日语、俄语、乌尔都语和中文）的图表图像、结构化图表注释、图表生成代码和问答注释，覆盖16种图表类型（如条形图、线图、饼图等）。数据集结构包括图像、JSON注释、代码和问答注释文件，总共有22,606张图表图像和26,151个问答对。数据集的创建过程包括从现有资源中选择种子示例、翻译和验证，并经过多步质量控制。
数据集名称：PolyChartQA-Test 语言：阿拉伯语、孟加拉语、英语、西班牙语、法语、印地语、日语、俄语、乌尔都语、中文 任务类别：视觉问答 任务子类型：视觉问答 规模类别：10000 < 样本数 < 100000 许可协议：其他 标签：图表问答、图表理解、多语言、多模态、视觉语言模型（vision-language models）、基准测试 # PolyChartQA-Test PolyChartQA-Test 是 PolyChartQA 的测试划分集，后者是一个面向图表问答的多语言多模态基准测试集。该基准旨在评估视觉语言模型（vision-language models）能否理解图表图像、读取多语言图表文本、基于视觉证据锚定问题，并在不同语言间开展数值推理。 本数据集包含10种语言的图表图像、结构化图表标注、图表生成代码以及问答标注。发布版本以原生文件格式存储于`PolyChartQA-Test/`目录下。 ## 关于 图表被广泛用于传递定量信息，但现有多数图表理解基准主要聚焦于英语场景。PolyChartQA-Test 旨在评估多语言环境下的图表问答性能，覆盖高资源与低资源语言、多种书写系统以及多样化的图表类型。 每个数据样本均关联以下内容： - 渲染后的图表图像 - 结构化JSON图表标注 - 用于渲染图表的Python代码 - 一个或多个自然语言问答对 该基准覆盖10种语言：阿拉伯语、孟加拉语、英语、西班牙语、法语、印地语、日语、俄语、乌尔都语及中文。涵盖16种图表类型：`3d-bar`（三维柱状图）、`area`（面积图）、`bar`（柱状图）、`box`（箱线图）、`bubble`（气泡图）、`candlestick`（K线图）、`funnel`（漏斗图）、`heatmap`（热图）、`histogram`（直方图）、`line`（折线图）、`multi-axes`（多轴图）、`pie`（饼图）、`radar`（雷达图）、`rings`（环形图）、`rose`（玫瑰图）及`treemap`（树状图）。 ## 数据集结构 针对每个语言子目录： | 路径 | 描述 | | --- | --- | | `image/` | PNG格式的渲染后图表图像 | | `json/` | 结构化图表标注与数据值 | | `code/` | 用于渲染或复现图表的Python脚本 | | `qa/annotations.jsonl` | 对应语言的标准问答标注 | 文件名前缀相同的文件通常对应同一张图表，例如： text PolyChartQA-Test/en/image/01499440003158.png PolyChartQA-Test/en/json/01499440003158.json PolyChartQA-Test/en/code/01499440003158.py ## 数据统计 PolyChartQA-Test 共包含22606张图表图像与26151组问答对。 ### 按语言分布 | 语言名称 | 语言代码 | 图表数量 | 问答对数量 | | --- | ---: | ---: | ---: | | 阿拉伯语 | `ar` | 2139 | 2496 | | 孟加拉语 | `bn` | 2297 | 2695 | | 英语 | `en` | 2917 | 3080 | | 西班牙语 | `es` | 2379 | 2802 | | 法语 | `fr` | 2304 | 2694 | | 印地语 | `hi` | 2452 | 2886 | | 日语 | `ja` | 1893 | 2195 | | 俄语 | `ru` | 2124 | 2519 | | 乌尔都语 | `ur` | 2284 | 2680 | | 中文 | `zh` | 1817 | 2104 | | **总计** | - | **22606** | **26151** | ### 按图表类型分布 | 图表类型 | 图表数量 | 问答对数量 | | --- | ---: | ---: | | 折线图（line） | 5065 | 6963 | | 柱状图（bar） | 4870 | 6362 | | 直方图（histogram） | 1733 | 1733 | | 漏斗图（funnel） | 1508 | 1508 | | 箱线图（box） | 1465 | 1465 | | 热图（heatmap） | 1459 | 1459 | | 饼图（pie） | 1420 | 1565 | | 环形图（rings） | 863 | 863 | | 面积图（area） | 766 | 776 | | 树状图（treemap） | 757 | 757 | | K线图（candlestick） | 644 | 644 | | 多轴图（multi-axes） | 537 | 537 | | 玫瑰图（rose） | 534 | 534 | | 气泡图（bubble） | 408 | 408 | | 三维柱状图（3d-bar） | 310 | 310 | | 雷达图（radar） | 267 | 267 | | **总计** | **22606** | **26151** | ## 数据实例 `qa/annotations.jsonl`中的每一行均为表示单个图表问答实例的JSON对象。一个典型的英语实例如下： json { "imgname": "01499440003158.png", "image_path": "image/01499440003158.png", "language": "en", "query": "What is the value of Slovenia in the graph?", "label": "1", "chart_type": "bar", "source_dataset": "chartqa", "split": "human", "qa_id": "01499440003158_en_001", "qa_level": "Retrieval" } 其中`image_path`字段为相对于对应语言子目录的相对路径。以上述示例为例，完整的图像路径为`PolyChartQA-Test/en/image/01499440003158.png`。 ## 数据字段 | 字段名 | 字段描述 | | --- | --- | | `imgname` | 图像文件名 | | `image_path` | 相对于语言子目录的图像路径 | | `language` | 语言代码 | | `query` | 目标语言的问题文本 | | `label` | 标准答案 | | `chart_type` | 图表类型标签 | | `source_dataset` | 作为种子样本的源基准数据集 | | `split` | 可用时的原始源划分 | | `qa_id` | 问答对唯一标识符 | | `qa_level` | 推理类别，例如检索、比较、算术或趋势分析 | | `matched_en_query` | 可用时的对齐英语问题 | | `matched_en_label` | 可用时的对齐英语答案 | | `matched_en_qa_id` | 可用时的对齐英语问答标识符 | ## 数据集构建 PolyChartQA-Test 通过多语言图表生成与验证流水线构建而成。 首先，从现有图表问答资源中选取英语种子样本，并通过答案验证、答案标准化以及人工审核完成数据清洗。随后，每个保留的图表均以结构化JSON格式与可执行的基于Plotly的Python代码进行表示，从而支持在渲染图像之外对图表进行检视。 接下来，将图表文本与问答对翻译为目标语言，同时保留数值、图表语义以及问答对的对齐关系。翻译后的结构化图表标注与可复用的渲染代码相结合，生成对应语言的图表图像。 本次发布版本经过了多轮质量控制流程，包括代码执行检查、视觉保真度检查、问答有效性检查、回译一致性检查、语义验证以及针对文本裁剪、重叠与错位等渲染问题的人工检视。 ## 评估方式 PolyChartQA-Test 专为图表问答任务设计。给定一张图表图像与对应目标语言的问题，模型应输出目标语言的简短答案或数字形式的结果。 推荐使用的评估指标为类型感知宽松准确率（type-aware relaxed accuracy）。数值预测若与标准答案的相对误差在5%以内，则判定为正确；非数值预测则通过归一化精确匹配进行评估。 代表性基准测试结果显示，顶尖的闭源与开源视觉语言模型仍存在显著的多语言图表理解差距。OCR错误、语言偏见以及算术推理错误是常见的失效模式，在非英语与非拉丁文字脚本的图表场景中尤为突出。 ## 预期用途 PolyChartQA-Test 可用于以下方向的研究： - 多语言图表问答 - 面向图表的视觉语言模型评估 - 多语言OCR与视觉文本锚定 - 图表相关的数值与符号推理 - 多模态系统的跨语言鲁棒性 ## 局限性 PolyChartQA-Test 覆盖10种语言与16种图表类型，但并未涵盖所有语言、书写系统、可视化风格或真实世界的图表领域。本数据集源自现有图表问答资源，可能继承了这些资源的主题或标注偏见。尽管已应用翻译与渲染验证流程，但仍可能存在细微的翻译偏差或图表定位误差。 ## 许可协议 本数据集的许可协议目前标记为`other`（其他）。用户在进行公开或商业使用前，应核实源衍生数据的最终再分发条款。 ## 引用方式 若您使用PolyChartQA-Test，请引用以下文献： bibtex @misc{xu2026polychartqa, title = {PolyChartQA: Benchmarking Large Vision-Language Models with Multilingual Chart Question Answering}, author = {Yichen Xu and Liangyu Chen and Liang Zhang and Zihao Yue and Jianzhe Ma and Wenxuan Wang and Qin Jin}, year = {2026} }
