LeoLM/wikitext-en-de

German+English Wikitext数据集是基于Merity et al. (2016)的工作复制的wikitext数据集，包含了维基百科中分类为“exzellent”（德语）或“featured”（英语）的文章。该数据集可以用于困惑度评估等任务。数据集的创建过程包括从维基百科抓取这些类别的文章名称，然后从最近的维基百科转储中筛选出这些文章。数据集提供了多个配置，每个配置的文档数量如下：exzellent_de（2822篇）、featured_en（6356篇）、exzellent_de_small（1024篇）、featured_en_small（1024篇）。创建数据集的代码可以在代码库中找到。

The German+English Wikitext dataset is a replicated Wikitext dataset based on the work of Merity et al. (2016). It contains Wikipedia articles categorized as "exzellent" (German) or "featured" (English). This dataset can be used for tasks such as perplexity evaluation. The dataset creation process involves scraping the article names of these categories from Wikipedia, then filtering out these articles from the most recent Wikipedia dumps. The dataset provides multiple configurations, with the document counts for each configuration as follows: exzellent_de (2822 articles), featured_en (6356 articles), exzellent_de_small (1024 articles), and featured_en_small (1024 articles). The code for creating this dataset is available in the code repository.

原始信息汇总

德英维基文本数据集

数据集概述

Wikitext_en_de 数据集是对 Merity 等人（2016）工作的复现，包含维基百科分类为“exzellent”或“featured”的文章，适用于如困惑度评估等任务。

数据来源

数据集通过从维基百科抓取属于这些类别的文章名称，并从最近的维基百科转储（如“20230901.de”来自 graelo/wikipedia）中过滤出这些文章来创建。

配置信息

配置名称	文档数量
exzellent_de	2822
featured_en	6356
exzellent_de_small	1024
featured_en_small	1024

数据文件

• exzellent_de: wiki_de_exzellent.parquet
• featured_en: wiki_en_featured.parquet
• exzellent_de_small: wiki_de_exzellent_small.parquet
• featured_en_small: wiki_en_featured_small.parquet

语言

• 德语 (de)
• 英语 (en)

数据集大小

• 1K < n < 10K

创建代码

数据集的创建代码可在本仓库中找到，文件名为 wikitext_de.py 和 wikitext_en.py。下载整个维基百科转储可能需要较长时间，具体取决于网络连接。