llama-lang-adapt/wura

--- configs: - config_name: af data_files: - split: train path: - af/train.af.txt - split: eval path: af/eval.af.txt - config_name: am data_files: - split: train path: - am/train.am.txt - split: eval path: am/eval.am.txt - config_name: ar data_files: - split: train path: - ar/train.ar.txt - split: eval path: ar/eval.ar.txt - config_name: en data_files: - split: train path: - en/train.en.txt - split: eval path: en/eval.en.txt - config_name: fr data_files: - split: train path: - fr/train.fr.txt - split: eval path: fr/eval.fr.txt - config_name: ha data_files: - split: train path: - ha/train.ha.txt - split: eval path: ha/eval.ha.txt - config_name: ig data_files: - split: train path: - ig/train.ig.txt - split: eval path: ig/eval.ig.txt - config_name: ki data_files: - split: train path: - ki/train.ki.txt - split: eval path: ki/eval.ki.txt - config_name: mg data_files: - split: train path: - mg/train.mg.txt - split: eval path: mg/eval.mg.txt - config_name: ny data_files: - split: train path: - ny/train.ny.txt - split: eval path: ny/eval.ny.txt - config_name: or data_files: - split: train path: - or/train.or.txt - split: eval path: or/eval.or.txt - config_name: po data_files: - split: train path: - po/train.po.txt - split: eval path: po/eval.po.txt - config_name: sm data_files: - split: train path: - sm/train.sm.txt - split: eval path: sm/eval.sm.txt - config_name: sn data_files: - split: train path: - sn/train.sn.txt - split: eval path: sn/eval.sn.txt - config_name: st data_files: - split: train path: - st/train.st.txt - split: eval path: st/eval.st.txt - config_name: sw data_files: - split: train path: - sw/train.sw.txt - split: eval path: sw/eval.sw.txt - config_name: ti data_files: - split: train path: - ti/train.ti.txt - split: eval path: ti/eval.ti.txt - config_name: xh data_files: - split: train path: - xh/train.xh.txt - split: eval path: xh/eval.xh.txt - config_name: yo data_files: - split: train path: - yo/train.yo.txt - split: eval path: yo/eval.yo.txt - config_name: zu data_files: - split: train path: - zu/train.zu.txt - split: eval path: zu/eval.zu.txt --- A copy of the WURA dataset (V2 Passages). ``` langs = { "Afrikaans": "af", "Amharic": "am", "Egyptian Arabic": "ar", "English": "en", "French": "fr", "Hausa": "ha", "Igbo": "ig", "Kinyarwanda": "ki", "Malagasy": "mg", "Chichewa": "ny", "Afaan Oromoo": "or", "Portuguese": "po", "Somali": "sm", "Shona": "sn", "Sesotho": "st", "Swahili": "sw", "Tigrinya": "ti", "Xhosa": "xh", "Yoruba": "yo", "Zulu": "zu", } ```配置项（configs）: - 配置名称（config_name）: af（南非荷兰语，Afrikaans） 数据文件（data_files）: - 数据集划分（split）: train（训练集） 路径（path）: - af/train.af.txt - 数据集划分（split）: eval（评估集） 路径（path）: af/eval.af.txt - 配置名称（config_name）: am（阿姆哈拉语，Amharic） 数据文件（data_files）: - 数据集划分（split）: train（训练集） 路径（path）: - am/train.am.txt - 数据集划分（split）: eval（评估集） 路径（path）: am/eval.am.txt - 配置名称（config_name）: ar（埃及阿拉伯语，Egyptian Arabic） 数据文件（data_files）: - 数据集划分（split）: train（训练集） 路径（path）: - ar/train.ar.txt - 数据集划分（split）: eval（评估集） 路径（path）: ar/eval.ar.txt - 配置名称（config_name）: en（英语，English） 数据文件（data_files）: - 数据集划分（split）: train（训练集） 路径（path）: - en/train.en.txt - 数据集划分（split）: eval（评估集） 路径（path）: en/eval.en.txt - 配置名称（config_name）: fr（法语，French） 数据文件（data_files）: - 数据集划分（split）: train（训练集） 路径（path）: - fr/train.fr.txt - 数据集划分（split）: eval（评估集） 路径（path）: fr/eval.fr.txt - 配置名称（config_name）: ha（豪萨语，Hausa） 数据文件（data_files）: - 数据集划分（split）: train（训练集） 路径（path）: - ha/train.ha.txt - 数据集划分（split）: eval（评估集） 路径（path）: ha/eval.ha.txt - 配置名称（config_name）: ig（伊博语，Igbo） 数据文件（data_files）: - 数据集划分（split）: train（训练集） 路径（path）: - ig/train.ig.txt - 数据集划分（split）: eval（评估集） 路径（path）: ig/eval.ig.txt - 配置名称（config_name）: ki（卢旺达语，Kinyarwanda） 数据文件（data_files）: - 数据集划分（split）: train（训练集） 路径（path）: - ki/train.ki.txt - 数据集划分（split）: eval（评估集） 路径（path）: ki/eval.ki.txt - 配置名称（config_name）: mg（马尔加什语，Malagasy） 数据文件（data_files）: - 数据集划分（split）: train（训练集） 路径（path）: - mg/train.mg.txt - 数据集划分（split）: eval（评估集） 路径（path）: mg/eval.mg.txt - 配置名称（config_name）: ny（奇契瓦语，Chichewa） 数据文件（data_files）: - 数据集划分（split）: train（训练集） 路径（path）: - ny/train.ny.txt - 数据集划分（split）: eval（评估集） 路径（path）: ny/eval.ny.txt - 配置名称（config_name）: or（奥罗莫语，Afaan Oromoo） 数据文件（data_files）: - 数据集划分（split）: train（训练集） 路径（path）: - or/train.or.txt - 数据集划分（split）: eval（评估集） 路径（path）: or/eval.or.txt - 配置名称（config_name）: po（葡萄牙语，Portuguese） 数据文件（data_files）: - 数据集划分（split）: train（训练集） 路径（path）: - po/train.po.txt - 数据集划分（split）: eval（评估集） 路径（path）: po/eval.po.txt - 配置名称（config_name）: sm（索马里语，Somali） 数据文件（data_files）: - 数据集划分（split）: train（训练集） 路径（path）: - sm/train.sm.txt - 数据集划分（split）: eval（评估集） 路径（path）: sm/eval.sm.txt - 配置名称（config_name）: sn（绍纳语，Shona） 数据文件（data_files）: - 数据集划分（split）: train（训练集） 路径（path）: - sn/train.sn.txt - 数据集划分（split）: eval（评估集） 路径（path）: sn/eval.sn.txt - 配置名称（config_name）: st（塞索托语，Sesotho） 数据文件（data_files）: - 数据集划分（split）: train（训练集） 路径（path）: - st/train.st.txt - 数据集划分（split）: eval（评估集） 路径（path）: st/eval.st.txt - 配置名称（config_name）: sw（斯瓦希里语，Swahili） 数据文件（data_files）: - 数据集划分（split）: train（训练集） 路径（path）: - sw/train.sw.txt - 数据集划分（split）: eval（评估集） 路径（path）: sw/eval.sw.txt - 配置名称（config_name）: ti（提格雷尼亚语，Tigrinya） 数据文件（data_files）: - 数据集划分（split）: train（训练集） 路径（path）: - ti/train.ti.txt - 数据集划分（split）: eval（评估集） 路径（path）: ti/eval.ti.txt - 配置名称（config_name）: xh（科萨语，Xhosa） 数据文件（data_files）: - 数据集划分（split）: train（训练集） 路径（path）: - xh/train.xh.txt - 数据集划分（split）: eval（评估集） 路径（path）: xh/eval.xh.txt - 配置名称（config_name）: yo（约鲁巴语，Yoruba） 数据文件（data_files）: - 数据集划分（split）: train（训练集） 路径（path）: - yo/train.yo.txt - 数据集划分（split）: eval（评估集） 路径（path）: yo/eval.yo.txt - 配置名称（config_name）: zu（祖鲁语，Zulu） 数据文件（data_files）: - 数据集划分（split）: train（训练集） 路径（path）: - zu/train.zu.txt - 数据集划分（split）: eval（评估集） 路径（path）: zu/eval.zu.txt --- 本数据集为WURA数据集（V2版段落数据）副本。 语言映射（langs） = { "南非荷兰语": "af", "阿姆哈拉语": "am", "埃及阿拉伯语": "ar", "英语": "en", "法语": "fr", "豪萨语": "ha", "伊博语": "ig", "卢旺达语": "ki", "马尔加什语": "mg", "奇契瓦语": "ny", "奥罗莫语": "or", "葡萄牙语": "po", "索马里语": "sm", "绍纳语": "sn", "塞索托语": "st", "斯瓦希里语": "sw", "提格雷尼亚语": "ti", "科萨语": "xh", "约鲁巴语": "yo", "祖鲁语": "zu", }

原始信息汇总

数据集概述

该数据集包含多个语言版本，每个语言版本分为训练集和评估集。以下是各语言版本的详细信息：

语言版本及文件路径

• Afrikaans (af)

  • 训练集: af/train.af.txt
  • 评估集: af/eval.af.txt

• Amharic (am)

  • 训练集: am/train.am.txt
  • 评估集: am/eval.am.txt

• Egyptian Arabic (ar)

  • 训练集: ar/train.ar.txt
  • 评估集: ar/eval.ar.txt

• English (en)

  • 训练集: en/train.en.txt
  • 评估集: en/eval.en.txt

• French (fr)

  • 训练集: fr/train.fr.txt
  • 评估集: fr/eval.fr.txt

• Hausa (ha)

  • 训练集: ha/train.ha.txt
  • 评估集: ha/eval.ha.txt

• Igbo (ig)

  • 训练集: ig/train.ig.txt
  • 评估集: ig/eval.ig.txt

• Kinyarwanda (ki)

  • 训练集: ki/train.ki.txt
  • 评估集: ki/eval.ki.txt

• Malagasy (mg)

  • 训练集: mg/train.mg.txt
  • 评估集: mg/eval.mg.txt

• Chichewa (ny)

  • 训练集: ny/train.ny.txt
  • 评估集: ny/eval.ny.txt

• Afaan Oromoo (or)

  • 训练集: or/train.or.txt
  • 评估集: or/eval.or.txt

• Portuguese (po)

  • 训练集: po/train.po.txt
  • 评估集: po/eval.po.txt

• Somali (sm)

  • 训练集: sm/train.sm.txt
  • 评估集: sm/eval.sm.txt

• Shona (sn)

  • 训练集: sn/train.sn.txt
  • 评估集: sn/eval.sn.txt

• Sesotho (st)

  • 训练集: st/train.st.txt
  • 评估集: st/eval.st.txt

• Swahili (sw)

  • 训练集: sw/train.sw.txt
  • 评估集: sw/eval.sw.txt

• Tigrinya (ti)

  • 训练集: ti/train.ti.txt
  • 评估集: ti/eval.ti.txt

• Xhosa (xh)

  • 训练集: xh/train.xh.txt
  • 评估集: xh/eval.xh.txt

• Yoruba (yo)

  • 训练集: yo/train.yo.txt
  • 评估集: yo/eval.yo.txt

• Zulu (zu)

  • 训练集: zu/train.zu.txt
  • 评估集: zu/eval.zu.txt