masakhane/afrimgsm

afrimgsm数据集是一个包含18种语言的评估数据集，其中包括16种非洲语言和英语、法语。这个数据集是对GSM8k数据集的一个子集进行翻译得到的，用于文本到文本生成的任务，尤其是自然语言推理。每个语言都有训练集和测试集，每个集的大小为8个样本和250个样本。数据集包含问题和答案字段，用于表示一个简单的数学问题及其解答。

The afrimgsm dataset is an evaluation dataset containing subsets of 18 languages, including 16 African languages and English and French. This dataset is a translation of a subset of the GSM8k dataset, used for text-to-text generation tasks, particularly natural language inference. Each language has a training set and a test set, with each set containing 8 samples for training and 250 samples for testing. The dataset includes fields for questions and answers, representing a simple math problem and its solution.

原始信息汇总

数据集卡片 for afrimgsm

数据集描述

数据集概述

AFRIMGSM 是一个评估数据集，包含 GSM8k 数据集的一个子集翻译成 16 种非洲语言。它包括所有 18 种语言的测试集，保留了原始 GSM8k 数据集的英语和法语子集。

语言

数据集包含 18 种语言：

数据集结构

数据实例

英语的示例如下：

python from datasets import load_dataset data = load_dataset(masakhane/afrimgsm, eng)

请指定语言代码

数据点示例如下：

{ question: A football team played 22 games. They won 8 more than they lost. How many did they win?, answer: 15 }

数据字段

• question: 小学数学问题的字符串问题。
• answer: 最终的数值解。

数据分割

所有语言都有两个分割：train 和 test，它们对应于 GSM8k 数据集的原始 train 和 test 分割。

分割的大小如下：

Language	train	test
am	8	250
ee	8	250
ha	8	250
kin	8	250
ln	8	250
lug	8	250
orm	8	250
sna	8	250
sw	8	250
tw	8	250
wo	8	250
xh	8	250
yo	8	250
zu	8	250
en	8	250
fr	8	250
xh	8	250
xh	8	250
xh	8	250

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，多语言数学推理能力的评估一直是研究的热点与难点。AfriGSM数据集正是为了填补非洲语言在这一方向的空白而构建的。该数据集以广为人知的GSM8k小学数学推理题库为蓝本，精心挑选了其中的子集，并通过专业翻译团队将其转化为16种非洲语言，同时保留了原始的英语和法语版本，最终覆盖18种语言。每个语言版本均严格遵循GSM8k的原始训练与测试划分，其中训练集包含8个样本，测试集包含250个样本，确保了评估的标准化与跨语言可比性。

特点

AfriGSM数据集最显著的特点在于其高度的语言多样性与专注的评估导向。它囊括了阿姆哈拉语、埃维语、豪萨语、约鲁巴语、祖鲁语等众多在主流NLP研究中鲜有涉及的非洲语言，为多语言模型在低资源语言上的数学推理能力提供了宝贵的测试基准。所有样本均以统一的JSON格式存储，包含'question'（问题字符串）与'answer'（最终数值解）两个字段，结构简洁明了。此外，数据集规模虽小（总计约4500个测试样本），却正因其精炼的设计，成为评估模型泛化能力而非拟合能力的理想工具。

使用方法

使用AfriGSM数据集进行模型评估时，研究者可通过HuggingFace的datasets库便捷加载。需指定具体的语言配置名称，例如'eng'、'hau'或'yor'，以加载对应语言的训练与测试分割。加载后，数据实例可直接用于文本到文本生成任务的推理与评估，模型需根据给定的数学问题生成正确的数值答案。该数据集特别适用于检验多语言大型语言模型在非洲语言语境下的算术推理水平，为开发更具包容性的AI系统提供关键的实证支持。

背景与挑战

背景概述

在自然语言处理领域，数学推理能力是衡量语言模型智能水平的关键维度之一，然而现有评估基准多集中于英语等高资源语言，非洲语言的数学推理研究长期处于空白状态。为弥合这一鸿沟，Masakhane研究社区于2023年发布了AfriMGSM数据集，该数据集由David Adelani等学者主导，从GSM8k数据集中精选子集，经专业翻译构建而成。核心研究问题在于系统评估多语言模型在非洲语言环境下的数学推理表现，覆盖阿姆哈拉语、斯瓦希里语、祖鲁语等16种非洲语言，并保留英语和法语子集作为对照。AfriMGSM的诞生不仅为非洲自然语言处理提供了首个标准化的数学推理评测基准，更推动了低资源语言在复杂认知任务中的研究进程，对促进语言技术平等发展具有里程碑意义。

当前挑战

AfriMGSM数据集面临的核心挑战在于数学推理任务的跨语言迁移困难。非洲语言在数词表达、句法结构和逻辑表述上差异显著，例如斯瓦希里语中的乘法表述与英语截然不同，导致模型难以将英语训练习得的推理能力泛化至目标语言。构建过程中，专业翻译人员的稀缺与质量控制构成另一重挑战：16种非洲语言中多数缺乏标准化术语体系，翻译团队需在保持数学语义精确性的同时兼顾语言文化特性，每语言仅8条训练样本的规模更凸显了小样本场景下评估的脆弱性。此外，部分语言如瓦伊语的文字系统特殊，进一步增加了数据标注与模型处理的复杂性。

常用场景

经典使用场景

在自然语言处理与数学推理的交叉研究领域，AfriGSM数据集为评估多语言大模型在低资源非洲语言上的算术推理能力提供了标准化基准。该数据集基于GSM8k精选子集，通过专业翻译覆盖16种非洲语言及英法双语，形成包含250条测试样本和8条训练样本的平衡结构。研究者通常利用其跨语言对齐特性，系统检验模型在阿姆哈拉语、约鲁巴语、斯瓦希里语等语言的数学问题理解与多步推理表现，成为衡量语言模型数理逻辑泛化能力的关键测试平台。

衍生相关工作

AfriGSM的发布催生了系列重要学术工作，包括基于该基准的跨语言推理能力排行榜及多语言模型微调策略研究。相关衍生工作如AfriQA将评测范围扩展至阅读理解领域，而AfriSenti则聚焦情感分析任务，共同构建了非洲语言自然语言处理的评估矩阵。更值得注意的是，该数据集启发了Chain-of-Thought提示技术在低资源语言上的适应性研究，催生了Llemma等面向数学推理的多语言模型优化方案，推动了多语言推理领域的范式革新。

数据集最近研究

最新研究方向

AfriGSM数据集的最新研究聚焦于多语言数学推理能力的评估与提升，尤其关注低资源非洲语言的性能瓶颈。该数据集通过将GSM8k中小学数学问题翻译为16种非洲语言（如阿姆哈拉语、斯瓦希里语、约鲁巴语等），为跨语言推理任务提供了稀缺的基准资源。当前前沿方向集中于探索大语言模型在非洲语言上的链式思维推理能力，揭示模型在非英语语境下数学逻辑的泛化表现。这一方向与全球人工智能包容性发展的热点紧密相连，旨在缩小语言数字鸿沟，推动非洲本土语言在智能教育、自动化问答等场景的落地应用。AfriGSM的发布不仅为多语言NLP研究提供了关键评估工具，更凸显了语言多样性在构建公平AI系统中的核心意义，对促进非洲语言资源的数字化与智能化具有深远影响。