REDFM, SREDFM

REDFM和SREDFM是由意大利Babelscape公司与罗马大学合作创建的多语言关系抽取数据集。REDFM是一个经过人工修订的小型数据集，涵盖7种语言和32种关系类型。SREDFM则是一个覆盖18种语言、400种关系类型和超过4000万个三元组实例的大型自动标注数据集。这两个数据集通过自动和人工结合的方法，提高了关系抽取系统的训练和评估质量。它们主要用于解决自然语言处理中关系抽取任务的挑战，特别是在多语言环境下的应用。

REDFM and SREDFM are multilingual relation extraction datasets co-developed by Italian firm Babelscape and Sapienza University of Rome. REDFM is a small manually curated dataset covering 7 languages and 32 relation types. SREDFM is a large-scale automatically annotated dataset that covers 18 languages, 400 relation types and over 40 million triple instances. These two datasets employ a hybrid approach combining automatic and manual annotation to improve the quality of training and evaluation for relation extraction systems. They are primarily designed to address the challenges of relation extraction tasks in natural language processing, especially for applications in multilingual environments.

搜集汇总

数据集介绍

构建方式

REDFM与SREDFM数据集的构建基于维基百科与维基数据之间的互联关系。研究团队首先利用cRocoDiLe管道从18种语言的维基百科摘要中提取实体超链接及其对应的维基数据关系，并保留最频繁的400种关系类型。为消除远程监督带来的噪声标签，他们引入多语言自然语言推理模型对低蕴含得分（低于0.1）的三元组进行初步过滤。随后，针对七种语言（阿拉伯语、中文、德语、英语、法语、意大利语、西班牙语），通过众包平台对32种高频关系类型进行人工验证，每位三元组由三名标注者独立判断，仅保留至少两人确认为正确的实例。在此基础上，研究团队利用人工标注数据训练了一个三元组批评模型（Triplet Critic），该模型基于DeBERTaV3架构，能够预测给定文本是否蕴含某个三元组，从而对剩余未标注的银级数据进行自动过滤。最后，通过映射维基百科实体至BabelNet概念并应用基于Transformer的实体类型分类器，为所有实体自动标注13种实体类型，最终形成SREDFM（包含超过4000万三元组实例）与REDFM（经人工修订的七语言子集）两个数据集。

特点

REDFM与SREDFM数据集在关系抽取领域展现出显著优势。SREDFM覆盖18种语言、400种关系类型及13种实体类型，包含超过4400万条三元组实例，是目前规模最大、语言覆盖最广的多语言关系抽取数据集之一。其银级标注过程通过三元组批评模型有效降低了远程监督的噪声，使得数据质量显著提升。REDFM作为人工修订的子集，涵盖七种语言和32种关系类型，标注者间一致性平均达到0.73的Krippendorff's alpha系数，确保了评估的可靠性。两个数据集均采用自动实体类型标注，且通过Transformer分类器对初始标注进行修正，在82.4%的确认实例中准确率达98%。相较于现有数据集，SREDFM在关系类型分布上更加均衡，避免了如DocRED中位置类关系占比过半的偏斜现象，为多语言关系抽取模型的训练与评估提供了高质量、高覆盖度的基准资源。

使用方法

REDFM与SREDFM数据集适用于端到端关系抽取与关系分类任务。研究团队基于mBART-50架构训练了多语言关系抽取模型mREBEL，该模型采用序列到序列框架，将三元组线性化为文本序列进行解码。使用时，用户可直接加载预训练权重（公开于GitHub仓库），对输入文本进行关系抽取。对于关系分类任务，可将输入文本中实体标记后，利用特殊标记<relation>引导模型输出单一关系。数据集按维基百科页面划分训练集、验证集与测试集，确保页面不重叠，避免信息泄露。用户可基于SREDFM进行大规模预训练，再在REDFM上微调以适配特定语言或关系类型。此外，研究团队提供了完整的数据构建管道，支持扩展至其他语言，研究者可利用该管道自动创建任意语言的关系抽取数据集。

背景与挑战

背景概述

关系抽取（Relation Extraction, RE）作为自然语言处理领域的核心任务，旨在从非结构化文本中识别实体间的语义关系，从而弥合自然语言与结构化知识之间的鸿沟。然而，现有的大规模关系抽取数据集多聚焦于英语，且存在标注噪声大、关系类型覆盖度低、语言多样性匮乏等显著局限。为突破这一瓶颈，Pere-Lluís Huguet Cabot及其团队于2023年提出了REDFM与SREDFM两个多语言关系抽取数据集。REDFM是一个经人工修订的高质量数据集，涵盖7种语言与32种关系类型；SREDFM则是一个基于维基百科与维基数据自动构建的大规模银标准数据集，覆盖18种语言、400种关系类型，包含超过4000万个三元组实例。这两个数据集的发布，为多语言关系抽取系统的训练与评估提供了前所未有的资源支撑，显著推动了该领域的发展。

当前挑战

当前多语言关系抽取领域面临多重挑战。首先，现有数据集普遍存在关系类型覆盖度不足的问题，例如ACE05仅涵盖6种关系类型且需付费许可，而SMiLER虽规模更大却缺乏人工标注，难以支撑可靠的评估。其次，自动标注方法（如远程监督）引入大量噪声标签，导致模型性能评估失真。REDFM与SREDFM的构建过程亦面临挑战：如何从维基百科与维基数据中提取高质量三元组，并利用NLI与人工标注有效过滤假阳性样本；如何设计跨语言实体类型标注策略，确保13种实体类型在18种语言中的一致性；以及如何平衡关系类型的分布，避免如DocRED中位置关系占比过半的类不平衡问题。此外，构建过程中还需解决跨语言迁移的零样本泛化难题，确保三元组批评模型在未见语言上的有效性。

常用场景

经典使用场景

在自然语言处理领域，关系抽取（Relation Extraction, RE）旨在从非结构化文本中识别实体间的语义关联，从而构建结构化知识。REDFM与SREDFM数据集为多语言关系抽取提供了高质量、大规模的标注资源。经典使用场景包括端到端多语言关系抽取模型的训练与评估，例如mREBEL系统通过序列到序列生成范式，在18种语言、400种关系类型上实现三元组抽取，涵盖实体类型标注。该数据集基于维基百科和维基数据构建，并通过人工修正与三元组批评器（Triplet Critic）过滤噪声，显著提升了跨语言关系抽取的覆盖度与准确性。

衍生相关工作

基于REDFM与SREDFM，研究者衍生出多项经典工作。mREBEL模型作为首个端到端多语言关系抽取系统，通过mBART-50预训练并在400种关系上微调，在SMiLER等基准上取得显著提升。三元组批评器（Triplet Critic）的跨语言零样本过滤能力启发了后续噪声标注修正研究，如利用NLI进行数据清洗。此外，实体类型分类器的设计推动了多语言NER与关系抽取的联合建模，衍生出WikiNEuRal等知识增强方法。该数据集还促进了多语言关系分类任务的发展，如基于提示学习的mT5模型在REDFM上验证了跨语言迁移的有效性。

数据集最近研究

最新研究方向

在自然语言处理领域，关系抽取作为连接非结构化文本与结构化知识的关键桥梁，长期受限于数据集规模有限、关系类型覆盖不足以及多语言支持薄弱等瓶颈。REDFM与SREDFM数据集的提出，标志着该领域向大规模、高质量、多语言方向迈出了重要一步。SREDFM通过融合维基百科与维基数据，辅以三元组评判模型过滤噪声，构建了涵盖18种语言、400种关系类型及超过4000万三元组实例的庞大数据资源，显著提升了关系类型的覆盖均衡性。REDFM则经人工校验，为7种语言提供了高可信度的评估基准。基于此，研究者进一步训练出首个端到端多语言关系抽取模型mREBEL，其能够在多语言场景下同时抽取实体类型与关系三元组，在SMiLER等基准上取得了显著性能提升。这一工作不仅填补了多语言关系抽取资源的空白，也为大语言模型在多语言知识获取与结构化推理中的可信应用奠定了坚实基础，推动了信息抽取技术向更广语言覆盖与更高语义精度的方向演进。

相关研究论文

• RED$^{\rm FM}$: a Filtered and Multilingual Relation Extraction Dataset

  意大利Babelscape公司与罗马大学 · 2023年