arxiv-url-bench-hf

该数据集旨在评估arXiv学术文献语料库中不同文档格式对URL提取的影响，支持大规模可重复性研究。数据集包含两个主要部分：1) 200篇论文的基准集：这是一个精心策划的子集，包含1992年至2024年间选出的200篇论文，每篇论文都成功转换为六种不同格式（LaTeX、HTML、XML、Markdown、TXT、PNG），并提供了2,420个总URL（2,338个唯一URL）的人工审核真实标签，用于细粒度的基准分析。2) 360k篇论文的纵向多格式语料库：这是一个大规模的平行语料库，时间跨度长达33年（1992-2024），包含364,744篇论文（每年约7,000篇），每篇论文都以五种核心文本格式（LaTeX、HTML、XML、Markdown、TXT）成功表示，并提供了从这五种格式中统一提取的URL数据。数据集适用于文本提取、文档解析、URL提取、PDF解析和可重复性研究等任务。完整语料库体积巨大，下载前需确保具备足够的存储空间和网络带宽。

This dataset aims to evaluate the impact of different document formats on URL extraction in the arXiv academic literature corpus, supporting large-scale reproducibility studies. It consists of two main parts: 1) A benchmark set of 200 papers: This is a curated subset of 200 papers selected from 1992 to 2024, each successfully converted into six different formats (LaTeX, HTML, XML, Markdown, TXT, PNG), with manually verified ground truth labels for 2,420 total URLs (2,338 unique URLs), enabling fine-grained benchmark analysis. 2) A longitudinal multi-format corpus of 360k papers: This is a large-scale parallel corpus spanning 33 years (1992-2024), containing 364,744 papers (approximately 7,000 per year), each represented in five core text formats (LaTeX, HTML, XML, Markdown, TXT), with URL data uniformly extracted from these formats. The dataset is suitable for tasks such as text extraction, document parsing, URL extraction, PDF parsing, and reproducibility research. The full corpus is large in size, requiring sufficient storage space and network bandwidth before downloading.

原始信息汇总

数据集概述

该数据集由两部分组成，旨在评估不同文档格式对 arXiv 论文中 URL 提取的覆盖差异，支持大规模可重复性研究。

1. 200 篇论文基准集 (Ground Truth)

• 时间跨度： 1992–2024 年（阶段 A：2016–24 年；阶段 B：1992–15 年）
• 初始抽样池： 6,090 篇 PDF（按年份和文档类型分层抽样）
• 最终验证池： 200 篇论文，包含全部 6 种格式（TEXT、LaTeX、XML、HTML、Markdown、PNG）
• 提取数据总量： 2,420 个 URL（2,338 个唯一 URL），经人工审核作为严格真实标准

2. 36 万论文纵向语料库

• 时间跨度： 1992–2024 年（33 年）
• 初始抽样池： 467,467 篇 PDF（每年最多 15,000 篇论文的分层随机样本）
• 最终共同池： 364,744 篇论文（每年约 7,000 篇）
• 提取数据总量： 基于 5 种文本格式的统一提取

数据集结构与文件

文件名	大小	描述
arxiv-url-bench-200.tar.gz	~2.8 GB	200 篇基准论文的原始文件（含不同格式变体）
arxiv_extracted_unique_urls_all_200_superset.json	~10 MB	所有格式变体提取的 URL 注册表（含人工标注的真实标签）
arxiv-multi-format-mini-corpus-360k.tar.gz	~150 GB	完整的 364,744 篇论文多格式同步共同池
arxiv_extracted_urls_5_formats_360k.json	~690 MB	从 36 万数据集中跨 5 种核心文本格式提取的所有 URL 输出

关键元数据

• 许可证： CC-BY-4.0
• 任务类别： 文本提取、文档解析
• 语言： 英语
• 标签： arxiv、科学文档、URL 提取、PDF 解析、可重复性、PDF、LaTeX、HTML、XML、Markdown、文本、PNG
• 规模： 100K–1M 篇论文

搜集汇总

数据集介绍

构建方式

本数据集旨在评估不同文档格式对URL提取任务的影响，特别针对arXiv语料库中存在的格式覆盖缺口。数据集构建包含两个核心部分：其一为200篇论文的基准测试集，通过严格的人工审核从6,090篇经年分与类型分层的PDF样本中筛选，确保每篇论文均具备TEXT、LaTeX、XML、HTML、Markdown与PNG六种格式，最终获得2,420条经过人工校验的真实URL标签。其二为涵盖1992至2024年间367,467篇PDF的纵向大规模语料库，经分层抽样后保留364,744篇共通论文，并在五种文本格式下完成统一URL提取，形成了规模约150GB的平行语料。

使用方法

使用者可根据研究目标选择不同子集。对于细粒度的格式影响分析，推荐从HuggingFace仓库下载arxiv-url-bench-200.tar.gz（约2.8 GB）及其对应的真值标签JSON文件。对于大规模纵向研究，需准备充足存储空间后下载arxiv-multi-format-mini-corpus-360k.tar.gz（约150 GB），并结合arxiv_extracted_urls_5_formats_360k.json文件使用。建议采用分批次或按年份筛选的方式处理大规模数据，利用Python的json与tarfile库进行文件读取与格式解析。

背景与挑战

背景概述

随着科学文献的数字化浪潮席卷全球，arXiv作为物理学、数学、计算机科学等领域的核心预印本平台，其海量论文中蕴含的URL链接成为验证研究可重复性与追踪学术资源动态的关键线索。然而，不同文档格式（如LaTeX、HTML、XML、Markdown、纯文本及PNG图像）对URL提取的覆盖率存在显著差异，这一问题长期困扰着大规模文献计量分析与自动化知识图谱构建。为此，dblind-data团队于2024年创建了arXiv URL Extraction Benchmark & Longitudinal Multi-Format Corpus数据集，系统性地评估跨格式URL提取的覆盖空白。该数据集由两个核心子集构成：一是经过严格人工审核的200篇论文基准集（含2,420条URL真理值），二是横跨1992至2024年间364,744篇论文的五格式平行语料库。这一工作为科学文献的数字化再现性研究提供了前所未有的标准化评估平台，深刻推动了文档解析与文本挖掘领域的基准化进程。

当前挑战

该数据集所解决的核心领域挑战在于，现有URL提取方法多假设文档为单一格式（如纯文本或HTML），而忽视arXiv论文中LaTeX、XML、Markdown等格式对URL结构（如宏命令、转义字符、数学环境内嵌链接）造成的复杂干扰，导致提取率出现系统性偏差。构建过程中面临的技术挑战包括：历时33年的论文格式演变带来的版本兼容性问题，近47万篇初始PDF的严格分层抽样以确保年份与文档类型的代表性，以及为200篇基准论文建立多格式对照真理值所需的三轮人工复核劳动。数据规模本身亦构成挑战——360k语料库以150 GB体量交付，要求使用者具备充足的计算与存储资源。此外，PNG图像格式中URL的隐式表达（如截图为图像而非可检索文本）进一步暴露出视觉文档解析的瓶颈，揭示了当前多格式协同提取范式中尚未解决的深层结构性问题。

常用场景

经典使用场景

在学术文献计量学与信息抽取领域，arXiv URL提取基准与纵向多格式语料库为研究者提供了一个弥合不同文档格式间信息覆盖率鸿沟的独特工具。其经典使用场景聚焦于评估和对比从LaTeX、HTML、XML、Markdown、纯文本及PNG图像中自动化提取统一资源定位符（URL）的性能差异。借助精心标注的200篇论文基准集，学者能够精确测量多种解析管线在格式转换中的信息丢失程度，从而校准抽取算法的鲁棒性与准确性。

解决学术问题

该数据集系统性地解决了学术再现性研究中一个长期被忽视的痛点：不同文档格式对引用和链接信息完整性造成的偏倚。通过构建横跨33年、涵盖逾36万篇论文的平行语料库，它首次使研究者得以量化格式转换过程中的系统性信息损耗，并揭示了单一格式依赖可能导致的抽样偏差。这为大规模文献计量分析的方法论改进提供了实证基础，显著提升了基于URL的学术影响追踪与知识网络重构的可信度。

实际应用

在实际应用层面，该语料库可支撑自动化的学术证据链重建与跨平台资源发现。例如，数字图书馆与预印本平台可借助其基准测试结果，优化自家PDF解析引擎，确保用户从任意格式版本都能精准定位到原始数据仓库、代码库或补充材料。同时，科研评价机构能够利用该工具评估不同归档格式对引用语境完整性维护的效果，从而制定更科学的文献保存与检索标准。

数据集最近研究

最新研究方向

当前，arXiv URL Extraction Benchmark & Longitudinal Multi-Format Corpus数据集为科学文献的再现性研究和自动化信息提取领域注入了全新活力。该数据集通过涵盖LaTeX、HTML、XML、Markdown、TXT及PNG等多元格式，构建了跨越33年（1992-2024）的大规模平行语料库，精准揭示了不同文档格式对URL提取管线的覆盖差异。这一前沿方向聚焦于评估和优化跨格式的自动化提取算法，助力解决学术出版中因格式异构导致的元数据丢失与引用断裂问题。结合开放科学运动对透明度和可重复性的迫切需求，该数据集为验证大规模文献计量分析、PDF解析工具的鲁棒性提供了黄金标准基准，其200篇论文的人工审核真值集与36万篇论文的纵向语料库，共同推动了从档案数字化到科研成果追溯的跨越式进步，在数字图书馆学与计算语言学交汇处点亮了新的研究范式。