ppxscal/arxiv-metadata-oai-snapshot

--- configs: - config_name: default data_files: - split: train path: data/train-* dataset_info: features: - name: id dtype: string - name: submitter dtype: string - name: authors dtype: string - name: title dtype: string - name: comments dtype: string - name: journal-ref dtype: string - name: doi dtype: string - name: report-no dtype: string - name: categories dtype: string - name: license dtype: string - name: abstract dtype: string - name: versions list: - name: created dtype: string - name: version dtype: string - name: update_date dtype: string - name: authors_parsed sequence: sequence: string splits: - name: train num_bytes: 3485474636 num_examples: 2318918 download_size: 1946711718 dataset_size: 3485474636 --- # Dataset Card for "arxiv-metadata-oai-snapshot" [More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)--- 配置项： - 配置名称：默认（default） 数据文件： - 数据划分（split）：训练集（train） 路径：data/train-* 数据集信息： 特征项： - 名称：id，数据类型：字符串（string） - 名称：投稿者（submitter），数据类型：字符串 - 名称：作者（authors），数据类型：字符串 - 名称：标题（title），数据类型：字符串 - 名称：投稿备注（comments），数据类型：字符串 - 名称：期刊引用（journal-ref），数据类型：字符串 - 名称：数字对象标识符（DOI），数据类型：字符串 - 名称：报告编号（report-no），数据类型：字符串 - 名称：分类标签（categories），数据类型：字符串 - 名称：授权协议（license），数据类型：字符串 - 名称：摘要（abstract），数据类型：字符串 - 名称：版本信息（versions），类型为列表，列表元素包含： - 名称：创建时间（created），数据类型：字符串 - 名称：版本号（version），数据类型：字符串 - 名称：更新日期（update_date），数据类型：字符串 - 名称：解析后作者信息（authors_parsed），类型为嵌套字符串序列 数据划分： - 名称：训练集（train），数据字节数：3485474636，样本数量：2318918 下载大小：1946711718 数据集总大小：3485474636 --- # "arxiv-metadata-oai-snapshot" 数据集卡片 [需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据集配置

• 配置名称: default
• 数据文件:
  • 分割: train
  • 路径: data/train-*

数据集信息

• 特征:
  • id: 字符串类型
  • submitter: 字符串类型
  • authors: 字符串类型
  • title: 字符串类型
  • comments: 字符串类型
  • journal-ref: 字符串类型
  • doi: 字符串类型
  • report-no: 字符串类型
  • categories: 字符串类型
  • license: 字符串类型
  • abstract: 字符串类型
  • versions: 列表类型，包含以下字段:
    • created: 字符串类型
    • version: 字符串类型
  • update_date: 字符串类型
  • authors_parsed: 序列类型，序列包含字符串类型

数据分割

• 分割名称: train
• 字节数: 3485474636
• 样本数: 2318918

数据集大小

• 下载大小: 1946711718
• 数据集大小: 3485474636

搜集汇总

数据集介绍

构建方式

该数据集源自arXiv预印本平台的OAI元数据快照，通过系统化采集与整理，形成了涵盖学术论文核心信息的结构化资源。构建过程中，数据被划分为统一的训练集，以文件块形式存储于'data/train-*'路径下，确保了大规模数据的高效加载与处理。每条记录包含论文唯一标识符、提交者、作者列表、标题、摘要、分类标签、许可证等关键元数据，并特别保留了版本历史字段，记录了每篇论文的创建日期与版本号，为研究论文的演化轨迹提供了基础。

特点

该数据集以约230万条训练样本的庞大规模著称，总数据量超过3.4GB，覆盖了arXiv平台自创立以来的广泛学术领域。其特点在于字段设计的全面性与细致性，不仅包含常见的标题与摘要，还纳入了作者解析后的结构化序列、评论注释、期刊引用、DOI编号等深层信息，为多维度学术分析提供了可能。此外，数据集的元数据快照性质确保了时间上的横截面代表性，适用于研究学术发表趋势、合作网络及学科分布。

使用方法

该数据集可通过HuggingFace Datasets库便捷加载，指定配置名为'default'并调用相应API即可获取训练集。用户可直接访问每条记录中的字符串字段如'abstract'和'title'进行文本分析，或利用'categories'字段进行学科分类任务。对于需要时间序列分析的研究，可解析'versions'列表中的日期信息，追踪论文版本更新。此外，'authors_parsed'字段的序列化格式便于提取合作者网络，适用于社会网络分析或作者共现研究，而'doi'与'journal-ref'则支持跨数据库链接与引用分析。

背景与挑战

背景概述

在学术信息爆炸的时代，海量科研文献的元数据成为推动自然语言处理、科学计量学及知识图谱等研究的重要基石。ppxscal/arxiv-metadata-oai-snapshot数据集应运而生，由社区维护者基于arXiv平台官方OAI接口的快照构建，收录了约230万篇学术论文的元数据，涵盖标题、作者、摘要、分类标签、DOI等关键字段。该数据集的核心研究问题在于为学术文本挖掘、跨学科趋势分析及论文推荐系统提供标准化、大规模的元数据资源，其影响力已延伸至预训练语言模型的领域适应与学术知识服务的基础设施建设中。

当前挑战

该数据集面临的挑战首先体现在领域问题的复杂性上：arXiv元数据虽覆盖广泛学科，但分类体系（如categories字段）的层级模糊性与交叉学科论文的归属歧义，使得模型在自动分类与主题建模时易产生偏差。构建过程中，数据源自OAI协议的快照抓取，面临版本一致性维护与增量更新的难题，例如versions字段中时间戳的异构格式与update_date的延迟更新，可能导致元数据的时间线错乱。此外，作者姓名解析（authors_parsed字段）的国际化差异与拼写变体，进一步增加了实体对齐与消歧的难度，制约了高精度知识图谱的构建效率。

常用场景

经典使用场景

在学术文献挖掘与自然语言处理领域，arXiv元数据快照数据集以其海量的学术论文元数据为研究者提供了宝贵的语料资源。该数据集收录了超过230万篇预印本论文的标题、摘要、作者、分类标签等信息，覆盖数学、物理、计算机科学等多个学科。经典使用场景包括基于标题和摘要的学术论文自动分类、关键词提取与主题建模，以及利用作者合作网络进行的学术社群发现。研究者可借助该数据集训练语言模型，实现对科研前沿动态的自动追踪与趋势预测。

解决学术问题

该数据集有效解决了学术文献元数据规模化获取的难题，为计算语言学与科学计量学领域提供了标准化的研究基准。通过其丰富的字段信息，研究者能够开展跨学科论文关联分析、学术影响力评估以及论文引用网络的可视化研究。此外，数据集中的版本历史与更新日期字段支持对学术成果演化过程的纵向追踪，有助于揭示科学知识生产的动态规律，推动开放科学环境下元数据标准化建设。

衍生相关工作

该数据集催生了多项经典研究工作，例如基于arXiv元数据的论文质量预测模型（如利用摘要文本与作者历史信息预测引用量），以及融合分类标签与DOI的跨库文献链接方法。在预训练语言模型领域，研究者使用该数据集微调了SciBERT等科学文本专用模型，显著提升了学术论文分类与摘要生成任务的性能。此外，基于作者合作网络的分析工作利用该数据构建了学科交叉度评估指标，为跨学科研究资助策略提供了数据支撑。