romanian-re-semeval

该数据集是由布加勒斯特理工大学等机构构建的罗马尼亚语关系抽取基准数据集，基于SemEval-2010 Task 8英文数据集通过Claude Haiku模型自动翻译而成，包含10535条标注样本，涵盖10种语义关系类型。数据创建过程采用严格的翻译后验证流程，确保实体标记的完整性和句子流畅性，保留率达98%以上。该数据集旨在解决罗马尼亚语等低资源语言缺乏高质量标注语料的问题，为跨语言关系抽取研究提供重要资源支撑，可广泛应用于自然语言处理、信息抽取和机器翻译等领域。

This dataset is a Romanian relation extraction benchmark dataset constructed by institutions including the Polytechnic University of Bucharest and other relevant organizations. It is automatically translated from the English SemEval-2010 Task 8 dataset using the Claude Haiku model, and contains 10,535 annotated samples covering 10 semantic relation categories. A strict post-translation verification process was implemented during the dataset construction to ensure the integrity of entity annotations and sentence fluency, with a retention rate of over 98%. This dataset aims to address the shortage of high-quality annotated corpora for low-resource languages such as Romanian, providing critical resource support for cross-lingual relation extraction research, and can be widely applied in fields including natural language processing, information extraction, and machine translation.

原始信息汇总

数据集概述

基本信息

• 数据集名称：Romanian SemEval-2010 Task 8 (Relation Extraction)
• 许可证：CC-BY-4.0
• 语言：罗马尼亚语（ro）、英语（en）
• 任务类别：文本分类
• 标签：关系抽取、跨语言、SemEval、罗马尼亚语
• 数据集大小：10K < n < 100K

数据集描述

该数据集是 SemEval-2010 Task 8 关系抽取基准的罗马尼亚语翻译版本。原始英语句子通过 LLM（Claude Haiku）逐句翻译成罗马尼亚语，同时保留了实体标记（<e1>/<e2>）。数据集中同时包含原始英语数据和罗马尼亚语翻译版本。

数据集划分

划分	样本数	语言
train_ro	7,871	罗马尼亚语
test_ro	2,664	罗马尼亚语
train_en	8,000	英语（原始）
test_en	2,717	英语（原始）

罗马尼亚语划分的样本数较少，因为在验证过程中，丢弃了丢失实体标记、标记不平衡或实体跨度为空格的翻译（训练集保留 98.4%，测试集保留 98.0%）。

数据格式

每条数据为一行 JSON 对象。罗马尼亚语文件同时包含英语原文和罗马尼亚语翻译，并带有对齐的 <e1>/<e2> 标记。示例： json { "sentence_en": "The <e1>cup</e1> contained <e2>coffee</e2>.", "sentence_ro": "<e1>Cana</e1> conținea <e2>cafea</e2>.", "relation": "Content-Container(e2,e1)", "validation": {"e1_en": "cup", "e1_ro": "Cana", "e2_en": "coffee", "e2_ro": "cafea"} }

英语文件使用相同的模式，仅包含 sentence_en。标签集包含 SemEval-2010 Task 8 的十个带方向关系（例如 Cause-Effect(e1,e2)）以及一个 Other 类别。

翻译质量

该数据集为机器翻译加自动后验证，非人工质量黄金标准。对 100 条随机罗马尼亚语训练句子的手动检查结果如下：

• 96/100 流畅且符合语法
• 98/100 原始关系标签仍然有效
• 74/100 两个实体翻译且对齐正确 其余 26 条存在实体级别问题：14 条实体在标记内未翻译，9 条标记位置错误，3 条翻译错误导致关系断裂；其中 12 条问题严重。由于端到端关系抽取任务根据标记中的黄金实体跨度评估预测，未翻译或错放的跨度会对罗马尼亚语的端到端评估数据造成惩罚，因此相关指标应视为下界。

使用示例

python from datasets import load_dataset

ds = load_dataset("DS4AI-UPB/romanian-re-semeval") print(ds["train_ro"][0])

引用

bibtex @misc{vasile2026crosslingual, title = {Cross-lingual Relation Extraction with Large Language Models: Zero-Shot, Few-Shot, and Fine-Tuned Evaluation on Romanian}, author = {Vasile, Dragoc{s}-Mitruc{t} and Apostol, Elena-Simona and Toma, c{S}tefan-Adrian and Paschke, Adrian and Truicu{a}, Ciprian-Octavian}, year = {2026}, note = {Preprint} }

相关资源

• 论文：未发布（链接待生效）
• arXiv：未发布（链接待生效）
• 项目网站：https://github.com/DS4AI-UPB/crosslingual-romanian-re
• 代码仓库：https://github.com/DS4AI-UPB/crosslingual-romanian-re
• 许可证详情：https://creativecommons.org/licenses/by-nc-sa/4.0/

搜集汇总

数据集介绍

构建方式

在低资源语言关系抽取领域，标注语料的匮乏始终是制约研究进展的核心瓶颈。为突破这一困境，该数据集通过将广泛使用的SemEval-2010 Task 8英文基准测试，利用Claude Haiku大语言模型驱动的翻译流水线自动转化为罗马尼亚语版本。翻译过程中严格保留了原文中的实体标签<e1>与<e2>及其原始顺序，并确保译文的语言自然性。随后通过自动质量校验，剔除了标签丢失、标记不平衡或实体跨度为空等不合格样本，最终保留了98.4%的训练样本和98.0%的测试样本，形成了包含7,871条训练实例与2,664条测试实例的罗马尼亚语关系抽取数据集。

使用方法

该数据集的使用方式具有灵活性和可复现性。研究人员可直接从公开的Hugging Face仓库中加载经翻译和验证的罗马尼亚语关系抽取数据，并依据论文提供的评估代码进行实验。数据集支持两种核心任务：其一是关系分类，输入中包含实体标记，模型需从10种带方向的关系类型中选出正确标签；其二是端到端关系抽取，输入不含实体标记，模型需在单次生成中同时还原实体及其语义关系。此外，研究者可参照论文设定，在零样本、少样本或QLoRA微调等不同范式下对Gemma 4 31B等大语言模型进行评测，亦可利用提供的编码器基线模型进行对比实验，从而系统分析跨语言迁移性能与模型规模之间的权衡关系。

背景与挑战

背景概述

关系抽取（Relation Extraction, RE）作为自然语言处理领域的核心任务之一，旨在从文本中识别实体间的语义关系。尽管该领域在英语上取得了显著进展，但诸如罗马尼亚语等低资源语言因标注语料匮乏而长期处于研究盲区。针对这一问题，Dragos-Vasile等研究者于2026年构建了romanian-re-semeval数据集，该数据集由布加勒斯特理工大学、布加勒斯特军事技术学院、柏林自由大学及弗劳恩霍夫研究所联合创建。研究者利用Claude Haiku模型将广为认可的SemEval-2010 Task 8基准从英语自动翻译为罗马尼亚语，并通过标记保留与平衡性检查进行了质量验证，最终保留了约7,871条训练样本与2,664条测试样本。该数据集的问世填补了罗马尼亚语领域缺少大规模公开关系抽取语料的空白，为跨语言关系抽取研究提供了关键评估资源，并推动了低资源语言在关系抽取领域的可复现研究进展。

当前挑战

该数据集面临的核心挑战首先源于低资源语言领域内因缺乏高质量标注数据而导致的研究瓶颈，罗马尼亚语关系抽取长久以来受限于语料稀缺，而自动翻译手段虽能缓解这一问题，却引入了翻译伪影与实体级错误。在构建过程中，研究者发现约26%的翻译样本存在实体标记问题，如实体未被翻译、标记错位或误译导致关系不可恢复，严重影响了端到端抽取任务的准确性。此外，跨语言迁移中的性能损失不容忽视，仅依靠零样本或少样本提示时，罗马尼亚语相较英语存在约3至5个百分点的性能下降，且少样本示例对关系分类的边际增益极为有限。即便采用QLoRA高效微调，虽能大幅提升F1分数，模型在推理阶段仍需约25GB显存与3.5小时完成5,381条样本的评估，计算成本远高于同等表现的小型编码器模型，这在大规模部署场景中构成了显著挑战。

常用场景

经典使用场景

在低资源语言的跨语言关系抽取研究中，romanian-re-semeval数据集最经典的使用场景是作为罗马尼亚语语义关系分类的基准评估平台。该数据集通过自动翻译SemEval-2010 Task 8基准语料库构建，保留了十种方向性关系标签和两种实体标记形式，为研究者提供了在罗马尼亚语环境下验证关系抽取模型泛化能力的标准测试集。无论是针对提示工程策略的消融分析，还是大规模语言模型的微调效果评估，该数据集都能有效衡量模型在目标语言上的跨语言迁移性能，尤其适用于零样本、少样本以及参数高效微调等范式的对比实验。

解决学术问题

该数据集主要解决了低资源语言关系抽取领域中标注语料匮乏的核心学术难题。通过构建罗马尼亚语版本的关系抽取基准，研究得以系统量化跨语言迁移过程中翻译伪影导致的性能衰减幅度，揭示出罗马尼亚语相比英语在提示驱动设置下存在3%至5%的宏F1值下降。同时，该数据集支持的实验设计证实了少样本提示相对零样本的提升极为有限，而QLoRA参数高效微调可在两个语言上将宏F1值提升超过22个百分点，并将跨语言差距从3.3个百分点压缩至1.4个百分点，为低资源语言关系抽取的适应性研究提供了实证依据和方法论参考。

实际应用

在实际应用层面，romanian-re-semeval数据集的价值体现在对罗马尼亚语信息抽取系统的工程化评估和选型指导上。该数据集支持关系分类和端到端抽取两种任务形式，可服务于罗马尼亚语文本中的语义关系自动解析，例如从新闻报道、法律文书或社交媒体内容中识别实体间的因果关系、产品-生产者关系等结构信息。实验表明，对于资源受限的部署场景，仅1.25亿参数的双语BERT模型即可在罗马尼亚语关系分类任务上达到8.24的宏F1值，接近310亿参数大语言模型经微调后的表现，为实际系统在计算成本与性能之间的权衡提供了可量化的决策依据。

数据集最近研究

最新研究方向

当前围绕罗语关系抽取数据集的前沿研究聚焦于跨语言迁移学习与大语言模型的低资源适配能力。在低资源语言语料匮乏的背景下，研究者通过将SemEval-2010 Task 8基准自动翻译为罗马尼亚语，系统评估了Gemma 4 31B在零样本、少样本及QLoRA微调范式下的表现。结果表明，提示驱动范式下罗语相较于英语存在3至5个百分点的性能折损，而参数高效微调可将宏F1分数提升逾22个百分点，并将跨语言差距压缩至1.4个百分点。值得注意的是，125M参数的纯罗语BERT模型在分类任务中与278M的多语言XLM-R模型表现相当，揭示了目标语言预训练对参数规模的补偿效应。这一工作不仅填补了罗语关系抽取公共基准的空白，更挑战了依赖超大规模模型的传统认知，为计算资源受限场景下的跨语言信息抽取提供了实证依据和优化路径。

相关研究论文

• Cross-lingual Relation Extraction with Large Language Models: Zero-Shot, Few-Shot, and Fine-Tuned Evaluation on Romanian

  布加勒斯特理工大学; 军事技术学院‘费迪南德一世’; 柏林自由大学; 弗劳恩霍夫开放通信系统研究所; 罗马尼亚科学家学院 · 2026年