jerteh/SrpWiki

塞尔维亚语维基媒体数据集，包含2020年初从Wikipedia和WikiSource获取的塞尔维亚语文本，总计477473篇文章，7000万字。数据集用于文本生成任务，包含两个文本文件：WikiKorpus.txt和Sveznanje.txt。

许可证：CC BY 4.0
语言：塞尔维亚语（sr）
数据集名称：塞尔维亚维基媒体数据集
样本量范围：1000万<总词量<1亿
配置项：
- 配置名称：default
数据文件：
- 拆分方式：训练集（train）
路径：
- WikiKorpus.txt
- Sveznanje.txt
任务类别：文本生成

本数据集收录了2020年初获取的塞尔维亚语维基百科文章文本，共计477473篇，总词量达7000万，同时涵盖部分维基文库（WikiSource）内容。本数据集由单个文本文件构成，可通过如下代码加载：
python
from datasets import load_dataset
dataset = load_dataset("jerteh/SrpWiki")

示例预览：
python
print(dataset["train"][1000])
{'text': 'ADUKCIJA (lat.: dovođenje), približavanje uda ili njegovog dela sr. liniji čovekovog tela; supr. → abdukcija.'}

原始信息汇总

数据集概述

基本信息

• 许可证: cc-by-4.0
• 语言: 塞尔维亚语 (sr)
• 数据集名称: Serbian WikiMedia dataset
• 大小: 10M<n<100M

配置

• 默认配置
  • 数据文件
    • 分割: train
    • 路径
      • WikiKorpus.txt
      • Sveznanje.txt

任务类别

• text-generation

数据内容

• 来源: 塞尔维亚语维基百科文章 (2020年初获取)
• 文章数量: 477473篇
• 总字数: 7000万字
• 包含: 部分WikiSource内容

加载方式

python from datasets import load_dataset dataset = load_dataset("jerteh/SrpWiki")

数据预览

python print(dataset["train"][1000]) {text: ADUKCIJA (lat.: dovođenje), približavanje uda ili njegovog dela sr. liniji čovekovog tela; supr. → abdukcija.}