StoryDB

arXiv2021-09-29 更新2024-08-06 收录

自然语言处理

多语言内容

数据链接：

http://arxiv.org/abs/2109.14396v1 数据链接链接失效反馈

官方服务：

资源简介：

StoryDB是一个包含42种不同语言叙事文本的广泛多语言数据集。每种语言包含500多个故事，某些语言甚至包含超过20,000个故事。每个故事都跨语言索引并标记有如体裁或主题等标签。该数据集展示了丰富的主题和语言变异，可作为研究叙事在自然语言处理中作用的多语言资源，包括低资源语言。

StoryDB is a comprehensive multilingual dataset containing narrative texts across 42 distinct languages. Each language features over 500 stories, with some languages boasting more than 20,000 stories. Every story is cross-lingually indexed and annotated with tags such as genre and theme. Featuring rich thematic and linguistic diversity, this dataset serves as a valuable multilingual resource for researching the role of narratives in natural language processing (NLP), including low-resource languages.

创建时间：

2021-09-29

搜集汇总

数据集介绍

构建方式

叙事作为人类文化与交流的核心，长久以来在自然语言处理领域备受关注，然而高质量、多语言的叙事数据集却相对匮乏。StoryDB的构建旨在填补这一空白，其数据源自各语言维基百科中所有包含“plot”子标题的页面。为确保数据质量与跨语言一致性，研究者以英语维基百科为基准，仅保留在英语中亦存在对应情节条目的页面，并排除同一语言内出现多个条目相连的歧义成分，最终形成一个包含42种语言、每语言至少500篇故事的跨语言叙事矩阵。每篇故事均拥有跨语言唯一标识符，并附有原始文本、标题、维基链接及分类标签，同时利用RAKE算法提取关键词，构建了完整的索引体系。

特点

StoryDB的核心特点在于其广度与结构化深度。数据集覆盖42种语言，其中英语条目多达63,756篇，另有超过20种语言拥有三千篇以上故事，涵盖芬兰语、匈牙利语、波斯语等资源稀缺语种。每篇故事均通过维基百科分类信息进行自动标注，获得如“戏剧”“喜剧”“科幻”等标签，且标签因语言而异，例如同一故事在捷克语与波斯语中可能呈现不同的标签集合。此外，数据集还提供了跨语言的情节关联矩阵与角色目录，使得研究者能够追踪同一故事在不同语言中的表达差异，为跨文化叙事结构研究提供了坚实基础。

使用方法

StoryDB的灵活结构使其适用于多种自然语言处理任务。研究者可通过plot_matrix.tsv索引文件按语言或标题检索故事，利用ID_lang_tag.tsv与ID_tag_average.tsv获取每篇故事的语言特定标签或跨语言平均标签向量。论文中展示了三项基准任务：多语言多标签分类、跨语言迁移学习以及基于重叠情节的跨语言学习，验证了mDistillBERT、mBERT与XLM-RoBERTa等模型在叙事标签预测上的表现。用户可下载完整数据集与过滤代码，自由进行叙事分类、摘要生成、跨文化分析乃至端到端叙事生成等实验，同时利用角色目录深入挖掘叙事中的人物互动模式。

背景与挑战

背景概述

叙事是人类文化与交流的核心，然而在自然语言处理领域，长文本的生成与理解始终面临瓶颈。现有叙事数据集多局限于单一语言、规模有限且聚焦于特定场景，难以支撑跨语言叙事结构的深度研究与现代深度学习模型的高效训练。在此背景下，StoryDB数据集由Yandex、ICT RAS及高等经济学院的研究人员于2021年创建，旨在构建一个大规模、多语言的叙事语料库。该数据集覆盖42种语言，每种语言包含至少500篇故事，部分语言超过20,000篇，且每篇故事均配有跨语言索引及体裁、主题等标签。StoryDB的发布填补了多语言叙事数据资源的空白，为跨文化叙事结构分析、叙事分类、量化叙事研究及端到端叙事生成等方向提供了关键支撑，显著推动了多语言自然语言处理在低资源语言领域的探索。

当前挑战

StoryDB所解决的领域问题在于叙事生成与理解的多语言泛化挑战。现有模型在长文本生成中缺乏有效的记忆机制与跨语言对齐能力，而传统叙事数据集如WikiPlots、InScript等规模小、语言单一，无法满足多语言叙事结构的抽象表征与迁移学习需求。构建过程中面临的核心挑战包括：一是从维基百科中精准提取跨语言叙事文本，需设计启发式过滤流程以排除噪声与歧义条目；二是实现跨语言故事的高效对齐与索引，确保同一叙事在不同语言版本中的一致性；三是构建多标签分类体系，利用维基百科分类信息自动生成体裁标签，并处理标签在不同语言间的差异与稀疏性问题。这些挑战的克服使StoryDB成为首个兼具广度与精度的多语言叙事资源。

常用场景

经典使用场景

在自然语言处理领域，StoryDB作为首个大规模多语言叙事语料库，为跨语言叙事结构分析提供了坚实基础。研究者可借助其42种语言、每语言逾500篇故事的数据规模，系统探究不同文化背景下叙事模式的共性与差异。数据集中每篇故事均带有跨语言索引与体裁标签，使得基于标签的多标签分类任务成为经典应用场景。通过在该语料上训练mBERT、XLM-RoBERTa等模型，可有效评估多语言模型对叙事文本的理解能力，尤其适用于低资源语言的叙事分析研究。

衍生相关工作

StoryDB的发布催生了多项后续研究工作。在叙事生成方向，研究者以其为基准开发了基于情节规划的分层生成框架，如Fan等人先构建谓词-论元结构再生成文本的方法。在跨语言叙事理解方面，Tikhonov等人利用该数据集评估了mDistillBERT、mBERT等模型在跨语言标签分类任务上的表现，揭示了语言家族相似性对迁移学习的影响。此外，Malysheva等人基于其动态情节标注思想，构建了面向文档分类的DyploDoc数据集，进一步拓展了叙事结构在文本分析中的应用边界。

数据集最近研究

StoryDB

资源简介：

相关数据集