SemEval-2013 task 12 and SemEval-2015 task 13 multilingual datasets
收藏资源简介:
本仓库发布了SemEval-2013任务12和SemEval-2015任务13的多语言黄金标准更新版本。原始数据使用的是旧版本的BabelNet,现已不再可用。为了便于使用和系统间的公平比较,我们将所有原始数据集中的可能黄金键映射到最新的BabelNet版本(索引版本4.0和API版本4.0.1),并标准化了词性标签,处理了多词实例,使其现在与单个ID关联并包含在单个XML标签内。此外,我们还提供了两种标准分割:all和wn。
This repository releases updated multilingual gold standard versions for SemEval-2013 Task 12 and SemEval-2015 Task 13. The original data utilized an older version of BabelNet, which is no longer available. To facilitate usage and ensure fair comparisons across systems, we have mapped all possible gold keys from the original datasets to the latest version of BabelNet (index version 4.0 and API version 4.0.1), standardized part-of-speech tags, and processed multi-word instances so that they are now associated with a single ID and included within a single XML tag. Additionally, we provide two standard splits: all and wn.
数据集概述
数据集内容
本数据集包含SemEval-2013任务12和SemEval-2015任务13的多语言黄金标准数据,涵盖法语、德语、意大利语和西班牙语。数据集更新了原始数据,将旧版本的BabelNet映射到最新版本,并标准化了词性标签。
数据集结构
数据集分为两个标准分割:
- all: 包含所有成功映射的实例。
- wn: 仅包含与WordNet中含义相关的实例,是all的一个子集。
数据集创建
创建新数据集时,尽可能使用原始数据提供的WordNet含义键。对于未关联WordNet含义键的实例,使用原始BabelNet索引检索相关信息,并在新索引中查找匹配项。
数据集统计
WordNet Split
| Dataset | Number of Instances | Word Types | Unique BN Synsets | Unique WN Synsets | Word Average Polysemy | Instance Average Polysemy | Polysemous Words |
|---|---|---|---|---|---|---|---|
| SemEval2013-it | 1490 | 604 | 702 | 702 | 3.80 | 5.51 | 458 |
| SemEval2013-es | 1260 | 541 | 597 | 597 | 4.20 | 5.52 | 421 |
| SemEval2013-fr | 1449 | 612 | 655 | 655 | 2.36 | 3.03 | 370 |
| SemEval2013-de | 1076 | 484 | 481 | 481 | 1.60 | 2.17 | 184 |
| SemEval2015-it | 1007 | 531 | 688 | 688 | 4.38 | 5.27 | 420 |
| SemEval2015-es | 1043 | 507 | 733 | 733 | 6.17 | 6.99 | 446 |
ALL Split
| Dataset | Number of Instances | Word Types | Unique BN Synsets | Word Average Polysemy | Instance Average Polysemy | Polysemous Words |
|---|---|---|---|---|---|---|
| SemEval2013-it | 1665 | 731 | 825 | 4.63 | 6.46 | 541 |
| SemEval2013-es | 1463 | 678 | 730 | 4.85 | 6.36 | 484 |
| SemEval2013-fr | 1618 | 730 | 779 | 3.69 | 4.53 | 531 |
| SemEval2013-de | 1389 | 692 | 690 | 2.52 | 3.30 | 362 |
| SemEval2015-it | 1063 | 557 | 730 | 5.02 | 5.87 | 456 |
| SemEval2015-es | 1101 | 541 | 774 | 6.62 | 7.39 | 475 |
数据集使用
为正确构建词汇表(即词(词条#词性)与其可能含义的关联),需遵循特定步骤,包括下载BabelNet索引和API,并设置属性文件。
联系方式
如有疑问,可通过GitHub问题或电子邮件pasini[at]di[dot]uniroma1[dot]it联系。
许可证
本数据集及其代码遵循Attribution-Non Commercial-ShareAlike 4.0 International (CC BY-NC-SA 4.0)许可。




