proxectonos/corpus_dominio_legal_administrativo_tmp

该数据集是一个法律-行政领域语料库，汇集了来自加利西亚官方公报和机构期刊的正式文本，代表了法律-行政语言的形式化、规范化和行政使用。文本包括完整、结构化且带有相关元数据的文档。这是语料库的临时更新版本，其中大幅扩展了来自加利西亚官方期刊的加利西亚语子集，并对省级公报应用了新的匿名化和伪名化处理。数据集包含三个独立子语料库，分别对应加利西亚的三个参考机构公报：拉科鲁尼亚省官方公报（拉科鲁尼亚省议会）、蓬特韦德拉省官方公报（蓬特韦德拉省议会）和加利西亚官方期刊（加利西亚政府）。原始文档以HTML、XHTML或XML格式提供，这些是提取的主要来源。数据以JSONL格式存储，每个文档对应一行JSON对象，字段包括文档标识符、完整行政文本、来源和公报、发布日期、检测到的语言以及可用的行政元数据。数据集适用于特定领域的语言建模、法律和行政语言的持续预训练、加利西亚语和西班牙语行政和法律语料分析、官方行政文本的双语或跨语言实验、机构文本的信息提取和文档分析实验，以及公共行政语言模型的开发和评估。数据集基于Creative Commons Attribution 4.0 International (CC BY 4.0)许可证分发，并得到欧盟NextGenerationEU的资助。

The dataset is a legal-administrative domain corpus that gathers official texts from bulletins and institutional journals of Galicia, representative of the formal, normative, and administrative use of legal-administrative language. The texts included correspond to complete, structured documents with associated metadata. This is a temporary updated version of the corpus, which incorporates a substantial expansion of the Galician subset from the Diario Oficial de Galicia and a new phase of anonymization and pseudonymization applied to provincial bulletins. The dataset consists of three independent subcorpora, each associated with a reference institutional bulletin in Galicia: the Boletín Oficial de la Provincia de A Coruña (Diputación de A Coruña), the Boletín Oficial de la Provincia de Pontevedra (Diputación de Pontevedra), and the Diario Oficial de Galicia (Xunta de Galicia). The original documents were available in HTML, XHTML, or XML formats, which constitute the primary source of extraction. Data is stored in JSONL format, with one JSON object per line per document, including fields such as document identifier, full administrative text, source and bulletin, publication date, detected language, and administrative metadata when available. The dataset is intended for domain-specific language modeling, continuous pretraining on legal and administrative language, corpus analysis of administrative and legal language in Galician and Spanish, bilingual or cross-lingual experiments with official administrative text, information extraction and document analysis experiments on institutional texts, and development and evaluation of models adapted to public administration language. It is distributed under the Creative Commons Attribution 4.0 International (CC BY 4.0) license and funded by the EU NextGenerationEU.

搜集汇总

数据集介绍

构建方式

该数据集汇聚了来自加利西亚地区三大官方公报的行政法律文本，包括拉科鲁尼亚省官方公报、蓬特韦德拉省官方公报以及加利西亚官方日报。原始文档以HTML、XHTML或XML格式存在，研究者针对每种公报的独特编辑结构和标记方式开发了专门的解析脚本，完成文本提取、元数据抓取、文档标识符构建及语言分类。随后对可能包含个人数据的子集执行匿名化与假名化处理，最终将处理结果以JSONL格式存储，每行对应一个独立文档。

特点

数据集覆盖加利西亚语与西班牙语双语种，时间跨度从1995年至2026年初，包含近百万篇结构性完整的官方文档。每个文档保留官方标识符、发布日期、来源公报、篇章类别及完整正文等丰富元数据。特别值得注意的是，本版本对省级公报数据实施了系统性的匿名化与假名化处理，在保护个人隐私的同时维持文本的流畅性与可用性。数据集按语言和年份组织目录结构，便于针对性检索与使用。

使用方法

该数据集适用于法律行政领域的语言模型预训练与持续训练、双语及跨语言文本分析实验、信息抽取与文档分析研究。用户可通过HuggingFace平台按语言配置（gl/es）加载数据，每个配置包含对应公报的JSONL文件。数据集采用CC BY 4.0许可协议发布，使用者需注意匿名化处理的局限性，部分个人标识符可能未被完全遮蔽，且加利西亚官方日报的西班牙语子集暂未包含在当前版本中。

背景与挑战

背景概述

该数据集名为corpus_dominio_legal_administrativo_tmp，是一个专注于加利西亚语和西班牙语法律-行政领域文本的语料库，由西班牙公共机构（如拉科鲁尼亚省议会、蓬特韦德拉省议会和加利西亚自治区政府）合作构建，并作为ALIA模型开发项目的一部分，受欧盟NextGenerationEU基金资助。该语料库创建于近年，旨在收集和整理来自加利西亚官方公报和省公报的完整、结构化文档，以支持法律-行政领域的语言建模研究。其核心研究问题在于如何为低资源语言（如加利西亚语）构建高质量、领域特定的监督语料，并推动双语或跨语言自然语言处理实验。该数据集对法律文本挖掘、行政语言分析以及特定领域预训练模型的发展具有重要影响，为后续研究提供了坚实的数据基础。

当前挑战

该数据集所解决的领域问题包括法律-行政文本的语言建模、双语信息提取以及领域自适应预训练，其中关键挑战在于如何从异构的HTML、XHTML和XML原始文档中自动提取并清洗结构化文本，同时确保元数据的可靠性和语言标签的准确性。构建过程中面临的具体挑战包括：1）对不同公报的编辑结构和标记格式进行定制化解析；2）对大范围时间跨度（加利西亚语子集从1995年至2026年）的文档进行一致性处理；3）实施匿名化和伪匿名化以保护个人隐私，但过程可能不完美，存在标识符漏检或误替换的风险；4）加利西亚语西班牙语子集尚未完全收录，且部分DOG章节因匿名化待处理而被临时排除，限制了语料库的完整性和时效性。

常用场景

经典使用场景

在法律与行政语言处理领域，该数据集凭借其涵盖加利西亚语和西班牙语的双语官方公报文本，为研究者提供了稀缺的领域内语言建模资源。其经典使用场景聚焦于对行政司法文本的深度语言建模，包括训练面向法律术语与句式结构的语言模型，以及开展跨语言或双语语境下的迁移学习实验。通过提取自西班牙加利西亚地区三大官方机构的结构化文档，该语料库能够支撑基于Transformer架构的模型进行领域内持续预训练，从而显著提升模型在处理正式、规范性法律文本时的语义理解与生成能力。

实际应用

在实际应用中，该数据集是构建智能政务工具的核心底座，赋能公共行政数字化转型。基于此语料库训练的语言模型可直接用于自动化撰写行政决议、智能摘要生成、法律文本翻译以及公民咨询的自动应答系统。例如，地方政府可部署经该数据微调的模型，实现官方公报的快速分类与关键词抽取，辅助公职人员高效处理海量文书。此外，该资源还能支撑开发面向公民的法律知识检索平台，帮助非专业人士理解复杂的行政程序与规范性文件，从而提升政府服务透明度与公众参与度。

衍生相关工作

该数据集的发布催生了一系列具有里程碑意义的衍生工作，尤其在低资源语言法律NLP领域。研究者已基于此语料库开发出首个专门面向加利西亚语的行政文本语言模型，并探索了将西班牙语法律Transformer模型通过持续预训练迁移至该语料库的跨语言适应技术。此外，围绕数据脱敏流程衍生出的命名实体识别与伪匿名化评估框架，为隐私合规下的公开语料建设树立了方法论标杆。数据集中结构化元数据的利用还促进了面向行政文书的篇章分割与主题标注工具的创新，这些工作共同推动了法律人工智能在非英语、非主流语言社区中的落地与普及。