proxectonos/corpus_dominio_cientifico

科学和学术领域语料库是一个包含加利西亚语（gl）和西班牙语（es）学术和百科全书文本的数据集，这些文本来自机构性和开放性资源，如大学出版物和维基百科文章。该数据集旨在为自然语言处理任务，特别是语言建模，提供有用的资源。语料库包括来自圣地亚哥德孔波斯特拉大学（USC）出版服务的文章和出版物，以及维基百科的科学领域文章。文本以JSONL格式存储，按语言和来源组织。数据集还处于扩展过程中，未来将包含更多科学出版物。

The Corpus de dominio científico y académico is a dataset comprising academic and encyclopedic texts in Galician (gl) and Spanish (es), sourced from institutional and open resources such as university publications and Wikipedia articles. It is designed to provide a useful resource for natural language processing tasks, particularly language modeling. The corpus includes articles and publications from the Servizo de Publicacións da Universidade de Santiago de Compostela (USC) and scientific articles from Wikipedia. Texts are stored in JSONL format, organized by language and source. The dataset is also in the process of expansion, with future updates planned to include additional scientific publications.

搜集汇总

数据集介绍

构建方式

该语料库汇聚了来自加利西亚语和西班牙语的机构、学术及开放资源文本。数据源涵盖圣地亚哥德孔波斯特拉大学（USC）出版服务部的XML结构化文档与PDF经OCR处理后的文本、维基百科科学领域条目，以及USC的Minerva目录学术文献。其中，XML文档保留了完整元数据，而PDF文本借助PaddleOCR进行识别并辅以后续清洗流程。Minerva目录中的4053份加利西亚语与8584份西班牙语文本均经OCR管线处理，辅以自动语言识别与清理，尽管部分复杂版式或低质量扫描可能引入残余噪声。

特点

该语料库共计83,437份文档，蕴含约2.63亿词元，在学术严谨性与主题多样性间取得巧妙平衡。其独特之处在于双语并行结构——涵盖加利西亚语这一低资源语言与西班牙语，且语域横跨专业学术论文、百科普及文本与机构出版物。数据以JSONL格式组织，按语言及来源细分目录，便于分语言学域调用。然而，OCR来源文本的固有局限性，如多语言混杂文档中的语言分类误差与版式噪声，亦构成其显著特征。

使用方法

该数据集专为自然语言处理中的科学领域语言建模而设计，尤其适用于学术与百科文本的持续预训练任务。用户可通过Hugging Face Datasets库加载gl与es两种配置，按需选取特定来源或全量数据进行双语或跨语种实验。鉴于JSONL格式的简洁性，研究者可轻松将其集成至自定义训练管线。建议在应用前评估OCR噪声影响，并关注多语混排样本的过滤，以保障下游任务性能。

背景与挑战

背景概述

Corpus de dominio científico y académico是一项针对加利西亚语与西班牙语科学学术文本构建的专用语料库，由西班牙圣地亚哥德孔波斯特拉大学的研究团队主导创建。该数据集整合了来自该大学出版社的学术出版物、维基百科科学条目以及Minerva目录的学位论文与期刊文献，旨在为低资源语言环境下的自然语言处理提供高质量的训练资源。作为CorpusNÓS项目的拓展，该语料库于2024年首次发布，专注于科学领域语言建模与跨语言研究，为加利西亚语等区域性语言的数字化发展奠定了重要基础。

当前挑战

该数据集的核心挑战在于解决低资源语言科学语料的稀缺性问题，通过融合光学字符识别与结构化数据提取技术，将非数字化的历史学术文献转化为可用的语言资源。构建过程中面临的主要难题包括：PDF文档的OCR识别质量不稳定导致的文本噪声，特别是表格、多栏排版及多语言混合片段造成的识别错误；不同来源数据的元数据差异和格式兼容性问题；以及自动语言分类在双语文档中的误判风险。这些技术限制要求研究者在数据清洗与后处理环节投入大量精力，以确保语料库的实际可用性。

常用场景

经典使用场景

在自然语言处理与计算语言学领域，corpus_dominio_cientifico数据集的核心应用在于对科学和学术文本进行语言建模。该语料库汇聚了来自加利西亚语和西班牙语的高质量学术出版物、维基百科科学条目以及大学机构文献，为研究者提供了构建领域专用语言模型的理想素材。通过使用该数据集进行自回归语言模型的预训练或持续训练，能够捕捉科学文本中独特的术语分布、句法结构与论证逻辑，从而显著提升模型在专业文本生成、摘要抽取和机器翻译等任务上的表现。

解决学术问题

该数据集精准回应了低资源语言在科学领域自然语言处理研究中面临的语料匮乏问题。加利西亚语作为区域语言，长期以来缺乏大规模、高质量的科学文本资源，限制了相关学术探索的深度。corpus_dominio_cientifico通过整合多种来源（包括OCR处理后的PDF与结构化XML文档），构建了跨语言、跨格式的科学语料库，使得研究者能够开展双语或跨语言的学术文本分析、术语对齐与对比语言学研究。其发布推动了低资源语言在学术文本挖掘、知识图谱构建与科学文献计量分析等方向的发展。

衍生相关工作

围绕corpus_dominio_cientifico数据集，衍生了一系列重要的研究工作。该语料是CorpusNÓS项目的重要组成部分，后者致力于为加利西亚语言模型训练提供海量文本基础。基于此语料，研究者已开发出面向科学领域的预训练语言模型，在学术文本理解与生成任务上取得了显著进展。同时，该数据集促进了双语科学语料库构建方法论的发展，特别是在OCR后文本清洗与多源异构数据融合方面积累了宝贵经验。这些工作为低资源语言学术自然语言处理领域树立了可复用的技术范式与基准资源。