jgov_v1.4_full_ann

该数据集包含两个部分：1) Silviase/jgov：将日本政府(e-Gov)开放数据门户中的政策评估PDF转换为页面图像的数据集，包含图像和PDF嵌入文本（有时可能为空）；2) Silviase/jgov_v1.4_full_ann：在前者基础上使用PaddleOCR-VL添加Markdown格式OCR文本的增强数据集。数据集专门针对包含表格和表单的日文PDF文档的布局识别和OCR评估需求设计。原始PDF来自e-Gov开放数据门户(CC-BY-4.0许可)，派生数据(渲染图像和OCR文本)也遵循相同许可。数据集包含约896,725个页面，采用200 DPI RGB图像格式，使用MuPDF渲染和pdfplumber提取文本。This dataset comprises two components: 1) Silviase/jgov: A dataset that converts policy assessment PDFs from the Japanese government (e-Gov) Open Data Portal into page-level images, including both the rendered images and PDF-embedded text (which may occasionally be empty). 2) Silviase/jgov_v1.4_full_ann: An enhanced dataset built upon the aforementioned one, which adds Markdown-formatted OCR text using PaddleOCR-VL. This dataset is specifically designed for layout recognition and OCR evaluation tasks targeting Japanese PDF documents containing tables and forms. Original PDFs are sourced from the e-Gov Open Data Portal under the CC-BY-4.0 license, and the derived data (rendered images and OCR text) also adheres to the same license. The dataset contains approximately 896,725 pages, stored in 200 DPI RGB image format, with text rendered using MuPDF and extracted via pdfplumber.

原始信息汇总

数据集概述

数据集名称

• Silviase/jgov_v1.4_full_ann

数据集概要

• 本数据集基于日本电子政务开放数据门户（e-Gov Open Data Portal）的政策评估PDF文件生成，包含页面图像及通过PaddleOCR-VL模型识别的Markdown格式OCR文本。
• 主要面向包含表单和表格的日语PDF的版面识别与OCR评估用途。

数据来源与许可

• 原始数据来源：e-Gov Open Data Portal (https://data.e-gov.go.jp/)
• 原始数据使用条款：https://data.e-gov.go.jp/info/terms
• 许可证：
  • 原始PDF文件遵循CC-BY-4.0许可（需注明出处）。
  • 本数据集衍生物（渲染图像、OCR文本）继承CC-BY-4.0许可，并保留出处信息。
  • 使用的PaddleOCR-VL工具遵循Apache-2.0许可（https://github.com/PaddlePaddle/PaddleOCR/blob/release/2.7/LICENSE），但其生成的OCR产物在CC-BY-4.0许可范围内可再分发。

数据内容与结构

• 数据集列（Columns）：
  • fname：文件名。
  • image：页面图像（datasets.Image格式）。
  • ocr_text_paddleocrvl：PaddleOCR-VL识别的Markdown格式文本。
  • source：固定为"jgov"。
  • conversations：列表格式，其中assistant字段包含OCR输出文本。
• 数据规模：共896,725个页面（已排除1个损坏页面）。
• 基础数据集（Silviase/jgov）内容：
  • image：页面图像（datasets.Image格式），200 DPI，RGB色彩，使用MuPDF渲染。
  • text：PDF内嵌文本（可能为空）。
  • source：原始PDF文件路径。
  • page：页码（从1开始）。

数据生成流程

1. 基础数据集（Silviase/jgov）生成：
   • 通过e-Gov CKAN API收集PDF文件URL并下载。
   • 使用MuPDF（pymupdf）以200 DPI、RGB格式将PDF页面渲染为图像。
   • 使用pdfplumber提取PDF内嵌文本层（非OCR，可能为空）。
2. OCR标注数据集（Silviase/jgov_v1.4_full_ann）生成：
   • 输入：Silviase/jgov数据集中的图像序列。
   • OCR处理：使用PaddleOCR-VL模型进行Markdown格式的OCR识别。
   • 后处理：仅从Markdown输出中移除内联style属性（保留HTML标签）。
   • 排除1个损坏的图像页面后，将结果写入JSONL文件并推送至Hugging Face Hub。

数据质量与注意事项

• Silviase/jgov：文本内容依赖PDF内嵌文本，可能存在为空或乱码的情况。
• Silviase/jgov_v1.4_full_ann：OCR文本为PaddleOCR-VL模型的原始输出（仅移除style属性）。表格或版面的识别错误取决于模型性能。

使用方法

• 加载基础数据集：datasets.load_dataset("Silviase/jgov", split="train")
• 加载OCR标注数据集：datasets.load_dataset("Silviase/jgov_v1.4_full_ann", split="train")
  • 访问图像：example["image"] 返回 PIL.Image 对象。
  • 访问OCR文本：example["ocr_text_paddleocrvl"] 或 example["conversations"][0]["assistant"] 返回Markdown格式文本。

引用信息

• 数据集：Silviase/jgov_v1.4_full_ann (Hugging Face Datasets)
• 数据来源：e-Gov Open Data Portal (遵循CC-BY-4.0许可，需注明出处)

搜集汇总

数据集介绍

构建方式

在数字政府信息公开的背景下，jgov_v1.4_full_ann数据集通过系统化流程构建而成。其基础数据源自日本e-Gov开放数据门户的政策评估PDF文档，利用CKAN API自动采集PDF资源，并通过MuPDF工具以200 DPI分辨率将PDF页面渲染为RGB图像。随后，采用PaddleOCR-VL模型对图像进行Markdown格式的OCR文本识别，生成包含布局信息的结构化文本。构建过程中，通过哈希命名确保文件唯一性，并移除了OCR输出中的内联样式属性以提升数据纯净度，最终形成包含近90万页图像与对应文本的大规模语料库。

特点

该数据集在政府文档数字化处理领域展现出显著特色。其核心在于融合了高分辨率页面图像与经过OCR处理的Markdown格式文本，完整保留了原始PDF中的表格、图表等复杂版面元素。数据规模庞大，涵盖896,725个页面，为训练和评估布局识别模型提供了丰富样本。文本内容以对话形式组织，便于直接应用于基于指令的视觉语言任务。同时，数据集严格遵循CC-BY-4.0许可协议，确保了学术与商业使用的合规性，为日语文档处理研究建立了可靠基准。

使用方法

针对文档分析与多模态学习任务，该数据集提供了便捷的调用接口。研究人员可通过HuggingFace Datasets库直接加载数据集，使用标准代码即可访问图像与文本字段。图像数据以PIL格式呈现，支持直接进行视觉特征提取；OCR文本则以Markdown形式存储，完整保留了文档的结构化信息。数据集的对话格式使其能够无缝集成到指令微调流程中，为开发文档理解、信息抽取等应用提供了即用型训练资源，显著降低了多模态模型研究的预处理成本。

背景与挑战

背景概述

随着数字化政务的深入推进，电子政府开放数据成为自然语言处理与文档分析领域的重要资源。jgov_v1.4_full_ann数据集由日本e-Gov开放数据门户的政策评估PDF转化而来，其构建工作主要由研究人员Silviase等人完成，旨在为日语文档的布局识别与光学字符识别技术提供大规模、高质量的评估基准。该数据集的核心研究问题聚焦于复杂版式文档的自动化解析，特别是针对含有表格、表单等非结构化元素的日语PDF，通过结合PaddleOCR-VL模型生成Markdown格式的OCR文本，推动了多模态文档理解技术的发展，并对政务文档智能化处理及相关OCR模型的性能优化产生了显著影响。

当前挑战

在文档智能领域，处理具有复杂布局的日语PDF面临诸多挑战，例如表格、多栏排版及混合文字内容的精确分割与识别。jgov_v1.4_full_ann数据集旨在应对这些挑战，为布局分析与OCR任务提供基准数据。在构建过程中，数据集遭遇了原始PDF嵌入文本缺失或乱码的问题，这影响了初始文本层的可靠性；同时，大规模图像渲染与OCR处理需高效计算资源，并需确保PaddleOCR-VL模型输出在保持Markdown结构的同时，去除冗余样式属性以提升数据一致性。此外，处理近九十万页文档时，还需解决图像损坏排除与数据格式标准化等工程难题。

常用场景

经典使用场景

在文档分析与光学字符识别领域，jgov_v1.4_full_ann数据集为处理复杂版式的日语PDF提供了标准化的评估基准。该数据集通过将日本政府公开的政策评估PDF转换为高分辨率页面图像，并集成PaddleOCR-VL生成的Markdown格式OCR文本，专门用于测试和优化布局识别算法在表格、表单等非结构化文档中的性能。研究人员可借助其丰富的图像-文本对，系统评估模型在真实政务文档场景下的准确性与鲁棒性。

衍生相关工作

围绕该数据集已衍生出多项经典研究工作，主要集中在文档布局识别模型优化与多模态预训练领域。例如，基于其图像-文本对训练的模型被用于改进日语OCR在复杂表格中的表现，相关成果发表于国际文档分析会议。同时，该数据集常作为基准数据，用于评估如LayoutLM、PaddleOCR等框架在跨语言场景下的适应性，促进了开源文档处理工具链在日语环境中的迭代与完善。

数据集最近研究

最新研究方向

在文档智能与多模态信息处理领域，jgov_v1.4_full_ann数据集凭借其大规模日本政府政策评估PDF的页面图像与PaddleOCR-VL生成的Markdown格式OCR文本，正推动着复杂版面分析与跨模态理解的前沿探索。该数据集聚焦于包含表格和表单的日语文档，为布局识别、光学字符识别（OCR）的精度评估提供了关键基准，尤其促进了视觉语言模型在结构化文档解析中的性能优化。随着数字政府与开放数据运动的深化，此类高质量标注资源成为研究热点，支撑着自动化政策分析、多语言文档检索等实际应用，对提升公共服务效率与透明度具有显著意义。