dell-research-harvard/headlines-semantic-similarity

HEADLINES是一个大规模的英语语义相似性数据集，包含396,001,930对来自1920年至1989年美国历史报纸的相同文章的不同标题。数据集以集群形式呈现，以减少文本数据的重复并最小化存储大小。每个年份的数据被分为一个单独的文件，总共70个文件。数据集中的文本为英语，主要用于训练语义相似性模型，并促进跨时空语义变化的研究。数据集可能包含反映1920年至1989年期间态度和价值观的标题，包括种族主义、性别歧视和恐同等内容。此外，由于所有报纸均来自美国，数据可能呈现西方视角的新闻故事。数据集还包含一些OCR错误。

原始信息汇总

数据集概述

数据集名称

• 名称: HEADLINES

数据集描述

• 描述: HEADLINES是一个大规模的英语语义相似度数据集，包含396,001,930对不同的标题，这些标题来自同一篇新闻文章，取自1920至1989年间的美国历史报纸。

语言

• 语言: 英语

数据集大小

• 大小: 100M<n<1B

许可

• 许可: Creative Commons CC-BY 2.0

数据集结构

文件结构

• 结构: 数据集按年份分为70个独立文件（例如：1952_headlines.json）。

数据实例

• 实例: 数据以集群形式呈现，每个实例包含以下字段：
  • headline: 标题文本。
  • date: 出版日期，格式为mmm-DD-YYYY。
  • state: 出版报纸的州。
  • group_id: 与同一文章其他标题共享的唯一编号。

数据集创建

源数据

• 来源: 数据集基于大量新数字化的、已过版权保护期的美国地方报纸文章构建。

初始数据收集和规范化

• 收集与规范化: 通过数字化报纸首页扫描件，使用OCR技术识别和本地化标题及文章内容，利用模型结合布局信息和语言理解来关联多框内容。

源语言生产者

• 生产者: 文本数据最初由美国地方报纸的记者生产。

使用考虑

社会影响

• 目的: 用于扩展语义相似度模型的语言和主题范围，研究跨时空的语义变化。

偏见讨论

• 偏见: 数据集中的标题可能反映1920-1989年间的态度和价值观，包括种族主义、性别歧视和恐同。

其他已知限制

• 限制: 数据集包含一些OCR错误。

搜集汇总

数据集介绍

构建方式

HEADLINES数据集构建于海量数字化历史美国地方报纸语料之上，覆盖1920至1989年间。研究团队首先对过版权保护的报纸页面扫描件进行数字化处理，通过定位与OCR技术识别标题、署名及文章等独立内容区域。鉴于这些元素常分布于复杂版面布局中的多个边界框，团队采用融合布局信息与语言理解的模型将其关联为完整文章。随后，利用神经方法在存在噪声与删节的情况下准确判别源自同一新闻源的文章。为剔除因OCR噪声导致的近似重复，所有编辑距离除以较短长度后低于0.1的标题对被移除，最终形成包含396,001,930对正面语义相似样本的数据集。

特点

该数据集以聚类而非成对形式存储，通过唯一group_id标识同一文章的所有标题，有效消除文本重复并压缩存储空间。每个年份独立存储为JSON文件，共计70个文件，便于按时间维度筛选。数据字段包含标题文本、出版日期（格式为mmm-DD-YYYY）及报纸所在州，为时空语义变迁研究提供丰富维度。其核心特点在于利用历史新闻中同一文章因本地化撰写而产生的不同标题，构建大规模、高覆盖的正面语义相似对，涵盖广泛的语言与主题，为语义相似度模型训练提供了前所未有的数据规模。

使用方法

用户可通过HuggingFace datasets库便捷加载完整数据集，仅需一行代码：`load_dataset('dell-research-harvard/headlines-semantic-similarity')`。若需按年份筛选，可在data_files参数中指定具体文件，例如`data_files=['1929_headlines.json', '1989_headlines.json']`。由于数据以聚类形式存储，用户需将同一group_id下的标题两两组合以生成语义相似对。该数据集采用CC-BY 2.0许可协议，适用于语义相似度模型训练、历史语言变迁分析等研究场景，论文引用可参考Silcock等人2023年发表于NeurIPS的工作。

背景与挑战

背景概述

在自然语言处理领域，语义相似度计算是众多下游任务的核心基础，然而现有数据集多聚焦于现代语言，缺乏覆盖历史文本与地域多样性的资源。由戴尔研究团队与哈佛大学研究者Emily Silcock、Abhishek Arora和Melissa Dell于2023年创建的HEADLINES数据集，旨在填补这一空白。该数据集收录了1920至1989年间美国地方报纸中同一新闻文章的不同标题，构建了包含3.96亿个正例对的庞大规模语料库。其核心研究问题在于如何利用历史新闻文本训练语义相似度模型，以捕捉语言在时空维度上的演变。该数据集在NeurIPS 2023上发布，为历史语言学、计算社会科学及语义变迁研究提供了前所未有的数据支撑，推动了大规模历史文本分析的范式革新。

当前挑战

HEADLINES数据集面临的挑战主要体现在三个方面。首先，在领域问题层面，历史文本中存在的语义漂移与地域性表达差异，使得传统基于现代语料的语义相似度模型难以直接迁移，需要设计能够适应时空变化的鲁棒表征方法。其次，构建过程中面临的技术难题包括：从复杂版面的报纸扫描件中准确分割标题与文章区域，利用布局与语言理解的联合模型将分散的文本元素关联为完整文章；在存在噪声与删节的情况下，通过神经方法精确识别源自同一新闻源的报道。此外，OCR引入的字符级错误与历史拼写变体进一步增加了数据清洗的难度，需通过编辑距离阈值过滤近似重复对，同时避免过度剔除有效样本。这些挑战共同构成了利用历史新闻文本进行大规模语义建模的核心瓶颈。

常用场景

经典使用场景

HEADLINES数据集为语义相似度研究提供了极为丰富的语料资源，包含近4亿对源自1920至1989年间美国地方报纸的标题对。这些标题虽源于同一新闻稿件，却因地方编辑的独立撰写而呈现出多样化的语义表达。该数据集最经典的应用场景在于训练和评估语义相似度模型，尤其是在缺乏人工标注的大规模语料环境下，为无监督或弱监督学习范式提供了坚实的数据基础。研究者可基于其天然的正样本结构，构建对比学习框架，从而提升模型对语义等价关系的识别能力。

解决学术问题

该数据集有效解决了语义相似度研究中长期存在的标注数据稀缺与语料时代单一的问题。传统语义相似度数据集多依赖人工标注，规模有限且多集中于现代语言使用，难以支撑对历时语义变迁的系统性探索。HEADLINES通过大规模自动构建策略，覆盖长达七十年的历史文本，使得研究者能够深入考察语义在时间维度上的演变轨迹。此外，其跨地域、跨报纸的特性也为探究语言变异与地域差异提供了前所未有的实证依据，推动了计算语言学和历史语言学交叉领域的学术进展。

衍生相关工作

HEADLINES的发布催生了一系列后续研究工作，尤其是在大规模语义相似度建模与历史文本分析领域。相关经典工作包括将对比学习框架应用于该数据集以提升句子嵌入的鲁棒性，以及探索跨时间维度的语义漂移现象。此外，基于该数据集，研究者开发了面向OCR噪声文本的相似度评估方法，并利用其时间标签构建了语义变化的动态图谱。这些衍生工作不仅验证了HEADLINES作为基准数据集的可靠性，也拓展了其在语言演化、数字人文和计算社会科学中的研究边界。