WikiQuality/length_lo

---
dataset_info:
- config_name: am
features:
- name: id
dtype: string
- name: url
dtype: string
- name: title
dtype: string
- name: text
dtype: string
splits:
- name: train
num_bytes: 19154347.178477906
num_examples: 10703
- name: test
num_bytes: 2129652.7274959083
num_examples: 1190
download_size: 5763990
dataset_size: 21283999.905973814
- config_name: ary
features:
- name: id
dtype: string
- name: url
dtype: string
- name: title
dtype: string
- name: text
dtype: string
splits:
- name: train
num_bytes: 7480349.930011521
num_examples: 5067
- name: test
num_bytes: 831149.9922235023
num_examples: 563
download_size: 2183784
dataset_size: 8311499.922235023
- config_name: ha
features:
- name: id
dtype: string
- name: url
dtype: string
- name: title
dtype: string
- name: text
dtype: string
splits:
- name: train
num_bytes: 58214622.185886554
num_examples: 27437
- name: test
num_bytes: 6469234.356699643
num_examples: 3049
download_size: 22631675
dataset_size: 64683856.5425862
- config_name: ig
features:
- name: id
dtype: string
- name: url
dtype: string
- name: title
dtype: string
- name: text
dtype: string
splits:
- name: train
num_bytes: 47687272.71655538
num_examples: 16710
- name: test
num_bytes: 5299537.129541791
num_examples: 1857
download_size: 17768068
dataset_size: 52986809.84609717
- config_name: om
features:
- name: id
dtype: string
- name: url
dtype: string
- name: title
dtype: string
- name: text
dtype: string
splits:
- name: train
num_bytes: 2841509.804195804
num_examples: 1589
- name: test
num_bytes: 316518.0839160839
num_examples: 177
download_size: 1040038
dataset_size: 3158027.888111888
- config_name: pcm
features:
- name: id
dtype: string
- name: url
dtype: string
- name: title
dtype: string
- name: text
dtype: string
splits:
- name: train
num_bytes: 1283660.0853970966
num_examples: 856
- name: test
num_bytes: 143961.87873612298
num_examples: 96
download_size: 584912
dataset_size: 1427621.9641332196
- config_name: rw
features:
- name: id
dtype: string
- name: url
dtype: string
- name: title
dtype: string
- name: text
dtype: string
splits:
- name: train
num_bytes: 8601014.624819625
num_examples: 5995
- name: test
num_bytes: 956943.5787747606
num_examples: 667
download_size: 3515373
dataset_size: 9557958.203594387
- config_name: sw
features:
- name: id
dtype: string
- name: url
dtype: string
- name: title
dtype: string
- name: text
dtype: string
splits:
- name: train
num_bytes: 51434210.97419607
num_examples: 48281
- name: test
num_bytes: 5715385.801382778
num_examples: 5365
download_size: 19623384
dataset_size: 57149596.77557885
- config_name: ti
features:
- name: id
dtype: string
- name: url
dtype: string
- name: title
dtype: string
- name: text
dtype: string
splits:
- name: train
num_bytes: 615180.1512195122
num_examples: 362
- name: test
num_bytes: 69675.1
num_examples: 41
download_size: 201719
dataset_size: 684855.2512195122
- config_name: ts
features:
- name: id
dtype: string
- name: url
dtype: string
- name: title
dtype: string
- name: text
dtype: string
splits:
- name: train
num_bytes: 628676.3983628922
num_examples: 584
- name: test
num_bytes: 69972.5443383356
num_examples: 65
download_size: 246039
dataset_size: 698648.9427012278
- config_name: tw
features:
- name: id
dtype: string
- name: url
dtype: string
- name: title
dtype: string
- name: text
dtype: string
splits:
- name: train
num_bytes: 5733890.1976158945
num_examples: 2942
- name: test
num_bytes: 637315.4638410596
num_examples: 327
download_size: 2137634
dataset_size: 6371205.661456954
- config_name: yo
features:
- name: id
dtype: string
- name: url
dtype: string
- name: title
dtype: string
- name: text
dtype: string
splits:
- name: train
num_bytes: 10703058.614788147
num_examples: 12248
- name: test
num_bytes: 1189325.830725561
num_examples: 1361
download_size: 4194959
dataset_size: 11892384.445513707
configs:
- config_name: am
data_files:
- split: train
path: am/train-*
- split: test
path: am/test-*
- config_name: ary
data_files:
- split: train
path: ary/train-*
- split: test
path: ary/test-*
- config_name: ha
data_files:
- split: train
path: ha/train-*
- split: test
path: ha/test-*
- config_name: ig
data_files:
- split: train
path: ig/train-*
- split: test
path: ig/test-*
- config_name: om
data_files:
- split: train
path: om/train-*
- split: test
path: om/test-*
- config_name: pcm
data_files:
- split: train
path: pcm/train-*
- split: test
path: pcm/test-*
- config_name: rw
data_files:
- split: train
path: rw/train-*
- split: test
path: rw/test-*
- config_name: sw
data_files:
- split: train
path: sw/train-*
- split: test
path: sw/test-*
- config_name: ti
data_files:
- split: train
path: ti/train-*
- split: test
path: ti/test-*
- config_name: ts
data_files:
- split: train
path: ts/train-*
- split: test
path: ts/test-*
- config_name: tw
data_files:
- split: train
path: tw/train-*
- split: test
path: tw/test-*
- config_name: yo
data_files:
- split: train
path: yo/train-*
- split: test
path: yo/test-*
---

### 数据集信息
本数据集包含多语言配置版本，各配置详情如下：
1. **阿姆哈拉语（Amharic，配置标识：am）**
- 特征字段：均为字符串类型，包含`id`、`url`、`title`、`text`
- 数据子集：
- 训练集（train）：字节数19154347.178477906，样本量10703
- 测试集（test）：字节数2129652.7274959083，样本量1190
- 下载大小：5763990，数据集总大小：21283999.905973814
2. **摩洛哥阿拉伯语（Moroccan Arabic，配置标识：ary）**
- 特征字段：均为字符串类型，包含`id`、`url`、`title`、`text`
- 数据子集：
- 训练集：字节数7480349.930011521，样本量5067
- 测试集：字节数831149.9922235023，样本量563
- 下载大小：2183784，数据集总大小：8311499.922235023
3. **豪萨语（Hausa，配置标识：ha）**
- 特征字段：均为字符串类型，包含`id`、`url`、`title`、`text`
- 数据子集：
- 训练集：字节数58214622.185886554，样本量27437
- 测试集：字节数6469234.356699643，样本量3049
- 下载大小：22631675，数据集总大小：64683856.5425862
4. **伊博语（Igbo，配置标识：ig）**
- 特征字段：均为字符串类型，包含`id`、`url`、`title`、`text`
- 数据子集：
- 训练集：字节数47687272.71655538，样本量16710
- 测试集：字节数5299537.129541791，样本量1857
- 下载大小：17768068，数据集总大小：52986809.84609717
5. **奥罗莫语（Oromo，配置标识：om）**
- 特征字段：均为字符串类型，包含`id`、`url`、`title`、`text`
- 数据子集：
- 训练集：字节数2841509.804195804，样本量1589
- 测试集：字节数316518.0839160839，样本量177
- 下载大小：1040038，数据集总大小：3158027.888111888
6. **尼日利亚皮钦语（Nigerian Pidgin，配置标识：pcm）**
- 特征字段：均为字符串类型，包含`id`、`url`、`title`、`text`
- 数据子集：
- 训练集：字节数1283660.0853970966，样本量856
- 测试集：字节数143961.87873612298，样本量96
- 下载大小：584912，数据集总大小：1427621.9641332196
7. **卢旺达语（Kinyarwanda，配置标识：rw）**
- 特征字段：均为字符串类型，包含`id`、`url`、`title`、`text`
- 数据子集：
- 训练集：字节数8601014.624819625，样本量5995
- 测试集：字节数956943.5787747606，样本量667
- 下载大小：3515373，数据集总大小：9557958.203594387
8. **斯瓦西里语（Swahili，配置标识：sw）**
- 特征字段：均为字符串类型，包含`id`、`url`、`title`、`text`
- 数据子集：
- 训练集：字节数51434210.97419607，样本量48281
- 测试集：字节数5715385.801382778，样本量5365
- 下载大小：19623384，数据集总大小：57149596.77557885
9. **提格雷尼亚语（Tigrinya，配置标识：ti）**
- 特征字段：均为字符串类型，包含`id`、`url`、`title`、`text`
- 数据子集：
- 训练集：字节数615180.1512195122，样本量362
- 测试集：字节数69675.1，样本量41
- 下载大小：201719，数据集总大小：684855.2512195122
10. **聪加语（Tsonga，配置标识：ts）**
- 特征字段：均为字符串类型，包含`id`、`url`、`title`、`text`
- 数据子集：
- 训练集：字节数628676.3983628922，样本量584
- 测试集：字节数69972.5443383356，样本量65
- 下载大小：246039，数据集总大小：698648.9427012278
11. **特维语（Twi，配置标识：tw）**
- 特征字段：均为字符串类型，包含`id`、`url`、`title`、`text`
- 数据子集：
- 训练集：字节数5733890.1976158945，样本量2942
- 测试集：字节数637315.4638410596，样本量327
- 下载大小：2137634，数据集总大小：6371205.661456954
12. **约鲁巴语（Yoruba，配置标识：yo）**
- 特征字段：均为字符串类型，包含`id`、`url`、`title`、`text`
- 数据子集：
- 训练集：字节数10703058.614788147，样本量12248
- 测试集：字节数1189325.830725561，样本量1361
- 下载大小：4194959，数据集总大小：11892384.445513707

### 数据集配置与数据文件路径
各语言配置对应的数据文件路径如下：
- 阿姆哈拉语（am）：训练集路径为`am/train-*`，测试集路径为`am/test-*`
- 摩洛哥阿拉伯语（ary）：训练集路径为`ary/train-*`，测试集路径为`ary/test-*`
- 豪萨语（ha）：训练集路径为`ha/train-*`，测试集路径为`ha/test-*`
- 伊博语（ig）：训练集路径为`ig/train-*`，测试集路径为`ig/test-*`
- 奥罗莫语（om）：训练集路径为`om/train-*`，测试集路径为`om/test-*`
- 尼日利亚皮钦语（pcm）：训练集路径为`pcm/train-*`，测试集路径为`pcm/test-*`
- 卢旺达语（rw）：训练集路径为`rw/train-*`，测试集路径为`rw/test-*`
- 斯瓦西里语（sw）：训练集路径为`sw/train-*`，测试集路径为`sw/test-*`
- 提格雷尼亚语（ti）：训练集路径为`ti/train-*`，测试集路径为`ti/test-*`
- 聪加语（ts）：训练集路径为`ts/train-*`，测试集路径为`ts/test-*`
- 特维语（tw）：训练集路径为`tw/train-*`，测试集路径为`tw/test-*`
- 约鲁巴语（yo）：训练集路径为`yo/train-*`，测试集路径为`yo/test-*`

原始信息汇总

数据集概述

数据集配置

配置名称：ha

• 特征：
  • id: string
  • url: string
  • title: string
  • text: string
• 分割：
  • train:
    • 字节数: 52854921.08275882
    • 样本数: 25208
  • test:
    • 字节数: 2782389.7285314566
    • 样本数: 1327
• 下载大小: 21407348
• 数据集大小: 55637310.81129028

配置名称：ig

• 特征：
  • id: string
  • url: string
  • title: string
  • text: string
• 分割：
  • train:
    • 字节数: 46649881.97150997
    • 样本数: 16376
  • test:
    • 字节数: 2455556.8062678063
    • 样本数: 862
• 下载大小: 16925305
• 数据集大小: 49105438.777777776

配置名称：pcm

• 特征：
  • id: string
  • url: string
  • title: string
  • text: string
• 分割：
  • train:
    • 字节数: 1162202.3333333333
    • 样本数: 778
  • test:
    • 字节数: 61247.166666666664
    • 样本数: 41
• 下载大小: 544475
• 数据集大小: 1223449.5

配置名称：sw

• 特征：
  • id: string
  • url: string
  • title: string
  • text: string
• 分割：
  • train:
    • 字节数: 52324367.14514379
    • 样本数: 57469
  • test:
    • 字节数: 2754201.5802269042
    • 样本数: 3025
• 下载大小: 18890934
• 数据集大小: 55078568.7253707

配置名称：yo

• 特征：
  • id: string
  • url: string
  • title: string
  • text: string
• 分割：
  • train:
    • 字节数: 3909182.956299801
    • 样本数: 8295
  • test:
    • 字节数: 205944.90077191236
    • 样本数: 437
• 下载大小: 3692970
• 数据集大小: 4115127.857071713