跨语言共词化数据集

跨语言共词化数据集是由奥尔堡大学哥本哈根计算机科学系的陈依依和约翰内斯·比尔瓦创建的，涵盖了142种语言和21个语系。该数据集包括了具体性和情感性的评分，并与音素和音韵特征相对应。数据集的创建过程涉及精细的编纂程序，旨在促进心理学、认知科学和多语言自然语言处理（NLP）等领域的跨学科研究。该数据集的应用领域广泛，旨在解决语言间的共词化模式及其对认知和情感表达的影响。The Cross-linguistic Co-wording Dataset was developed by Yiyi Chen and Johannes Bilva from the Department of Computer Science, Aalborg University Copenhagen. It covers 142 languages across 21 language families, and includes concreteness and affective ratings that are aligned with phonemic and phonological features. The dataset was constructed through rigorous curation procedures, aiming to facilitate interdisciplinary research in fields including psychology, cognitive science, and multilingual natural language processing (NLP). With a wide range of application scenarios, this dataset is intended to investigate cross-linguistic co-wording patterns and their impacts on cognitive and affective expression.

搜集汇总

数据集介绍

构建方式

语言中普遍存在的共词化现象，即同一词汇形式承载多重语义，为跨语言研究提供了独特视角。本研究基于BabelNet 5.0的多语言WordNet数据，首先构建了一个包含72,604个同义词集的大规模同义词图，并通过算法提取共享同一词形的同义词对，形成共词化网络。随后，从WikiPron中提取了142种语言中68,249个词条的音素信息，并借助PanPhon将每个音素映射为24维的发音特征向量。最后，将Brysbaert等人提供的具体性评分与Warriner等人提供的情感效价、唤醒度和支配度评分，通过概念匹配融入该网络，从而构建出涵盖21个语系、包含具体性与情感评分的跨语言共词化数据集。

特点

该数据集的独特之处在于其多维度的语义与语音信息融合。它不仅记录了676,594个共词化模式在142种语言中的分布，还为每个词条提供了具体性、效价、唤醒度和支配度的评分，并关联了对应的音素序列及发音特征向量。通过分析发现，共词化概念在具体性与情感维度上距离更近时更易发生共词化；某些语系中，首尾音素（如突厥语系中的/k/）与具体性存在显著相关；音素类型-词例比率与具体性呈正相关，而音段长度则呈负相关；此外，部分发音特征（如舌冠阻塞音）与具体性呈现跨语言的负相关趋势。这些特性使数据集成为探究语音、语义与人类认知之间复杂关联的宝贵资源。

使用方法

该数据集的使用方法灵活多样，主要面向跨学科研究。研究者可直接利用其中的共词化模式与评分距离，分析不同语言中概念间的语义亲疏关系，或检验具体性与情感相似性对共词化倾向的影响。通过调用音素及发音特征向量，可开展语音象征性研究，例如考察特定语系中音素与具体性或情感评分的统计关联。此外，数据集支持构建多语言词汇表示，尤其适用于低资源语言的语义标注迁移——借助共词化网络，可将高资源语言的情感或具体性评分引导至缺乏标注的语言。所有数据已开源，用户可通过GitHub仓库获取并整合至自然语言处理或心理学实验流程中。

背景与挑战

背景概述

跨语言共词化（colexification）作为语言类型学与语义映射研究中的核心现象，揭示了不同语言通过同一词汇形式表达多重概念的普遍规律。自François（2008）与Haspelmath（2003）开创性引入该术语以来，共词化网络已在心理语言学、认知科学及跨语言语义比较中展现出独特价值。然而，现有资源如CLICS3与BabelNet虽提供大规模共词化数据，却缺乏与具象性（concreteness）及情感性（affectiveness）等人类评分维度的系统整合，且语音层面的关联研究长期局限于小语种范围。2023年，Yiyi Chen与Johannes Bjerva于SIGMORPHON发表的论文中，首次提出利用共词化模式引导跨语言数据集构建的方法论，创建了一个覆盖142种语言、21个语系的综合数据集，将音素、语音特征与具象性及情感评分相映射，为多语言自然语言处理、心理学及认知科学交叉研究开辟了新路径。

当前挑战

该数据集面临的核心挑战包括：其一，领域问题层面，现有语义类型学资源在低资源语言中极度匮乏，具象性与情感性评分多集中于英语等少数高资源语言，跨语言共词化网络虽可辅助引导数据生成，但评分标注的盎格鲁中心偏见可能扭曲跨文化语义表征；其二，构建过程层面，从BabelNet提取的WordNet同义词集需严格筛选首义项以确保跨语言概念对齐，而不同语言间义项标注差异（如法语中knot的首义项为速度单位）导致映射误差；此外，音素提取依赖WikiPron与PanPhon工具，但部分语言（如美洲原住民语言）的音素数据稀疏，且音位多样性（type-to-token ratio）与具象性之间的正相关关系尚需更大规模语料验证，以排除统计假阳性干扰。

常用场景

经典使用场景

跨语言共词化数据集的核心应用在于揭示不同语言中同一词汇形式承载多重意义的普遍规律。基于BabelNet和CLICS等大规模语义资源，该数据集整合了142种语言、21个语系的共词化模式，为语义类型学研究提供了跨语言比较的基石。研究者可利用其探索概念之间的语义关联距离，例如通过分析共词化对在具体性和情感维度上的数值差异，验证抽象概念与具体概念之间的映射倾向。该数据集还支持构建共词化网络，通过节点与边的权重分布量化语言间语义结构的异同，从而为心理语言学中概念组织的跨文化差异提供实证依据。

实际应用

在实际应用中，该数据集可赋能多语言自然语言处理系统的语义理解能力。例如，在情感计算领域，通过共词化模式推断低资源语言中词汇的情感极性，提升跨语言情感分类的鲁棒性。在语音合成与识别中，结合音素与具体性/情感性的相关性分析，可优化语音信号的韵律生成，使合成语音更贴合语义的情感内涵。此外，该数据集还可用于计算语言学的语言相似性建模，通过共词化网络构建语言嵌入，辅助机器翻译中语义对齐的改进，尤其在资源匮乏语种的翻译质量提升上展现出显著潜力。

衍生相关工作

该数据集衍生了一系列开创性研究，推动了跨语言语义与音系学交叉领域的发展。Harvill等人基于BabelNet共词化图构建了Syn2Vec模型，利用图嵌入提升词汇语义相似性任务的性能。Chen等人进一步提出Colex2Lang方法，通过共词化模式生成语言嵌入，实现了对语言类型学特征的分布式表征。在音系层面，de Varda与Strapparava利用该数据集的音素-具体性关联分析，验证了跨语言语音象征性的深度学习框架。此外，Liu等人探索了基于共词化图的跨语言迁移学习，在低资源语言的自然语言理解任务中取得了突破性进展，彰显了该数据集在推动多语言NLP前沿研究中的基石作用。