jerteh/NARDUS-meta

NARDUS Metapodaci数据集包含关于博士论文的元数据，如论文的URL、标题（塞尔维亚语和英语）、导师和委员会成员列表、作者、发布日期、URI、摘要（塞尔维亚语和英语）、格式、出版商（学院）、访问权限、许可证URI、关键词列表（塞尔维亚语和英语）、PDF文件的URL、RCUB ID、科学领域等信息。此外，还提供了关于PDF下载链接、是否需要OCR、论文是否使用塞尔维亚语以及是否发布有限制性许可证（ARR）的信息。数据集的语言为塞尔维亚语和英语，大小在10K到100K之间，许可证为cc-by-sa-4.0。

原始信息汇总

数据集概述

基本信息

• 许可证: cc-by-sa-4.0
• 语言:
  • sr (塞尔维亚语)
  • en (英语)
• 数据集大小: 10K<n<100K

数据集内容

• 数据集名称: NARDUS Metapodaci
• 包含数据:
  • URL disertacije (论文URL)
  • Naslov na srpskom (塞尔维亚语标题)
  • Naslov na engleskom (英语标题)
  • Spisak mentora (导师列表)
  • Spisak članova komisije (委员会成员列表)
  • Autor (作者)
  • Datum objavljivanja (发布日期)
  • URI (统一资源标识符)
  • Sažetak na srpskom (塞尔维亚语摘要)
  • Sažetak na engleskom (英语摘要)
  • Format (格式)
  • Izdavač (fakultet) (出版社/学院)
  • Prava pristupa (访问权限)
  • URI licence (许可证URI)
  • Spisak kjučnih reči na srpskom (塞尔维亚语关键词列表)
  • Spisak kjučnih reči na engleskom (英语关键词列表)
  • URL do PDF-a (PDF文件URL)
  • RCUB ID (RCUB识别码)
  • Naučna oblast (科学领域)
  • Informaciju o link sa kojeg se može skinuti PDF (下载PDF的链接信息)
  • Informaciju o tome da li je za taj PDF potreban OCR (是否需要OCR的信息)
  • Informaciju o tome da li je disertacija na srpskom jeziku (论文是否为塞尔维亚语)
  • Informaciju o tome da li je disertacija objavljena sa ograničavajućom licencom (ARR) (论文是否带有限制性许可证(ARR))

搜集汇总

数据集介绍

构建方式

在学术资源数字化与开放获取运动蓬勃发展的背景下，NARDUS元数据集应运而生，旨在系统化整理塞尔维亚博士论文的元数据信息。该数据集从NARDUS平台采集，涵盖博士论文的多个核心维度，包括论文URL、塞尔维亚语与英语标题、导师及委员会成员名单、作者信息、出版日期、URI、双语摘要、文件格式、出版机构（学院）、访问权限、许可证URI、双语关键词列表、PDF下载链接、RCUB标识符、学科领域，以及PDF是否需要OCR处理、论文是否以塞尔维亚语撰写、是否受限制性许可证（ARR）约束等附加属性。数据以结构化的方式组织，便于后续的自然语言处理与学术分析任务。

特点

该数据集的核心特征在于其多维度的元数据覆盖与双语属性。它不仅包含传统的书目信息（如标题、作者、摘要），还特别引入了PDF下载链接及其技术属性（如OCR需求），以及许可证与访问权限信息，为版权分析与文本可获取性评估提供了数据基础。此外，数据集同时提供塞尔维亚语与英语的关键词和摘要，支持跨语言信息检索与文本挖掘。规模介于1万至10万条记录之间，兼顾了数据丰富性与管理效率，特别适用于塞尔维亚语学术文本的建模与语言资源建设。

使用方法

使用该数据集极为便捷，研究者可通过HuggingFace的datasets库直接加载。只需一行代码`from datasets import load_dataset`并调用`load_dataset("jerteh/NARDUS-meta")`即可获取训练集。数据集以字典形式存储，通过索引如`dataset["train"][3088]`可访问具体条目，包含所有元数据字段。这一设计使得数据集成、预处理与探索性分析变得高效，适合用于训练语言模型、构建学术搜索引擎或进行塞尔维亚语文本分类与信息抽取任务。引用时需参考相关学术论文以保持学术规范。

背景与挑战

背景概述

在自然语言处理与数字人文交叉领域，结构化元数据资源的构建对学术知识挖掘至关重要。NARDUS-meta数据集由Mihailo Škorić和Nikola Janković于2024年创建，依托塞尔维亚科学基金资助的TESLA项目（#7276），聚焦于塞尔维亚博士论文的元数据收集与整理。该数据集收录了超过一万条博士论文记录，涵盖标题、摘要、关键词、导师信息、出版机构及访问权限等二十余项属性，并以塞尔维亚语和英语双语呈现。作为巴尔干地区首个大规模学术元数据开放资源，它为低资源语言塞尔维亚语的文档检索、知识图谱构建及学术影响力分析提供了关键基础设施，推动了该区域数字学术生态的发展。

当前挑战

该数据集面临的核心挑战包括：其一，领域问题层面，塞尔维亚语作为低资源语言，缺乏大规模标注语料，导致学术文本的语义解析与跨语言对齐困难，限制了元数据的深层语义挖掘；其二，构建过程中，博士论文PDF文件的获取需处理版权限制（如ARR许可）与OCR需求，部分文档因扫描质量或非结构化布局导致文本提取错误，需人工校验；此外，元数据字段的标准化（如导师与委员会成员名称的变体）及双语对齐的准确性，进一步增加了数据清洗的复杂性，考验着构建者的技术策略与资源投入。

常用场景

经典使用场景

NARDUS-meta数据集汇聚了塞尔维亚博士论文的丰富元数据，涵盖标题、摘要、关键词、导师与委员会成员、出版日期、访问权限及PDF链接等多维度信息。其经典使用场景在于为自然语言处理与文本挖掘提供结构化的塞尔维亚语学术语料，尤其适用于低资源语言场景下的文本分类、关键词提取、摘要生成及多语言信息检索任务，推动巴尔干地区学术数据的数字化研究。

衍生相关工作

该数据集衍生出多项前沿工作，如基于其元数据训练的塞尔维亚语词嵌入模型（TESLA项目），以及针对博士论文摘要的文本生成与翻译系统。相关研究还利用其多语言字段开发了跨语言学术论文匹配算法，并催生了结合OCR质量标注的文档清理流水线，为低资源语言的学术文本处理树立了标杆。

数据集最近研究

最新研究方向

在自然语言处理领域，低资源语言的数据集构建与模型适配正成为前沿热点。NARDUS-meta数据集聚焦塞尔维亚语博士论文元数据，涵盖标题、摘要、关键词等多语种信息，为巴尔干地区学术文本的语义理解与跨语言检索提供了坚实基础。当前研究趋势中，该数据集被用于探索塞尔维亚语嵌入表示与语言模型的微调，尤其是在科学文本分类、作者归属分析及开放获取政策评估等方向。其与TESLA项目的关联进一步推动了塞尔维亚语在学术语境下的数字化进程，对促进东欧非英语学术资源的可访问性与自然语言处理技术公平性具有重要示范意义。