llm-jp/HakushoBench

HakushoBench是一个具有挑战性的日语图表和表格视觉问答基准，基于33份政府白皮书构建。该数据集包含2,053张图像，涵盖超过10种图像类型，并带有手动标注的问答对，旨在评估对图表和表格的深度和整体理解，而不仅仅是局部视觉线索。

HakushoBench is a challenging Japanese chart and table VQA benchmark built from 33 governmental white papers. HakushoBench contains 2,053 images spanning over 10 image types, with manually annotated QA pairs, designed to assess deep and holistic understanding of charts and tables, rather than local visual cues alone.

搜集汇总

数据集介绍

构建方式

HakushoBench的构建经历了三个阶段：首先，从33部日本政府白皮书中收集图表图像，经过筛选得到5,903张候选图像；随后，由标注人员为每张图像创建一道具有挑战性的问答对；最后，所有问答对均经过独立验证，最终形成包含2,053个经过人工校验的多模态问答对的标准评测集。

特点

HakushoBench作为专注于日文图表理解的视觉问答基准，具有鲜明的领域特点。其图像源自涵盖安全、经济、社会等多元领域的政府白皮书，确保了数据在真实世界主题上的广泛覆盖。数据集包含超过10种图像类型，设计的问答任务要求模型超越局部视觉线索，实现对图表的深度与整体理解。评测结果表明，即便在最先进的专有模型与最佳开源模型之间，仍存在显著的性能鸿沟，凸显了该基准的挑战性与研究价值。

使用方法

由于版权限制，HakushoBench中的图像托管于日本国内服务器，未随Hugging Face数据集直接分发。用户需首先克隆GitLab仓库获取图像文件，随后通过Hugging Face Datasets库加载评测数据。加载时使用load_dataset函数指定数据集路径和测试集划分，即可获得包含图像路径、原问题、答案及多种元信息字段的样本，用于模型的评估与比较。

背景与挑战

背景概述

HakushoBench是由日本国立信息学研究所（NII）的Issa Sugiura、Shuhei Kurita、Yusuke Oda和Naoaki Okazaki等研究人员于2026年联合构建的日文图表视觉问答基准数据集。该数据集源于33份日本政府白皮书，包含2,053张图像，覆盖10余种图表类型，并配有手工标注的问答对。它旨在评估多模态模型对图表和表格的深层语义理解能力，而不仅仅局限于局部视觉线索。作为首个面向日本政府公文的图表VQA基准，HakushoBench填补了日文领域在高复杂度视觉理解评测方面的空白，对推动多模态模型在东亚语言及公共服务场景中的应用具有重要价值。

当前挑战

该数据集所解决的领域挑战在于现有图表理解基准多聚焦于英文场景，且问题设计往往依赖局部视觉匹配，难以评估模型对图表整体结构和隐含关系的认知。HakushoBench通过要求模型综合文本、数值与视觉布局进行推理，显著提升了评测难度。构建过程中面临的挑战包括：从33份白皮书的5,903张候选图像中筛选出高质量样本，需人工剔除重复或模糊图表；手工标注2053个问答对时需确保每个问题的全局性和复杂性，避免简单复制；独立验证环节要求标注一致性，最终仅保留约35%的原始候选图像，从而保障了基准的严谨性与代表性。

常用场景

经典使用场景

HakushoBench 作为一项针对图表与表格的视觉问答（VQA）基准，其经典使用场景在于系统性地评估多模态大模型在理解日本政府白皮书中的复杂图表与表格时的综合能力。该数据集涵盖安全、经济、社会等多元领域，包含超过2,000张人工标注的图表示例，特别强调对视觉元素、多跳推理及外部知识的深层理解，而非仅仅依赖局部视觉线索，从而为模型在真实世界文档理解任务中的表现提供了严苛的测试平台。

解决学术问题

该数据集有效解决了学术界在多模态模型评估中缺乏针对日语高复杂度图表理解的高质量基准这一关键问题。它弥补了现有VQA基准在领域多样性、标注严谨性与推理深度评估上的不足，揭示了当前顶尖模型（如闭源和开源模型）在图表与表格理解上存在的显著性能差距，从而为驱动模型在细粒度视觉推理、跨模态信息融合等方面的研究提供了明确的方向与挑战。

衍生相关工作

HakushoBench 的发布已催生了一系列相关经典工作，包括但不限于利用该基准进行多模态大模型在日语文档理解任务上的系统比较研究。其标注规范与构建流程（如图像收集、人工标注与独立验证环节）为后续构建其他语种或高专业性领域的图表问答基准提供了可复用的方法论。研究者还基于其评估结果，深入分析了开源与闭源模型在图表推理能力上的具体短板，并尝试通过微调与提示优化来提升模型性能，进一步推动了领域内模型的迭代发展。