WikiMatrix

kaggle2023-10-13 更新2024-03-08 收录

下载链接：

https://www.kaggle.com/datasets/zuoguan/wiki-matrix

下载链接

链接失效反馈

官方服务：

资源简介：

WikiMatrix Chinese-English Translation Dataset

创建时间：

2023-09-20

该项目的目标是在维基百科的文本内容中为所有可能的语言对挖掘平行句子。 85 种不同的语言，1620 种语言对 134M平行句，其中34M与英文对齐

OpenDataLab2026-07-05 更新830

该项目的目标是在维基百科的文本内容中为所有可能的语言对挖掘平行句子。 85 种不同的语言，1620 种语言对 134M平行句，其中34M与英文对齐

OpenXLab00

该数据集是对AI.FB的Wikimatrix数据集进行转换的结果。转换过程中，将包含单个源句子翻译的多行数据合并为一行，并应用了一个分数阈值1.03来移除质量较差的翻译。

Hugging Face2021-04-13 更新50

该数据集名为WikiMatrix，包含了英语与其他语言之间的平行文本，被用于多语言预训练。此外，还有一个子集是专门为IGLUE基准测试收集的。该数据集规模宏大，包含1900万个平行句子对，其任务重点在于多语言预训练。

arXiv120

WikiMatrix数据集是从96种语言的维基百科文章中自动提取的平行句子，特别关注东南亚地区的8种语言。该数据集主要用于机器翻译任务，包含135M平行句子，涉及1620种不同的语言对。数据集的使用可以通过`datasets`库或`seacrowd`库进行加载。

Hugging Face2024-06-24 更新800