projecte-aina/arc_ca

arc_ca（AI2推理挑战 - 加泰罗尼亚语）是一个基于小学水平科学问题的多项选择问答数据集。数据集包含Easy版本的2950个实例（测试集570个，验证集2380个）和Challenge版本的1469个实例（测试集299个，验证集1170个）。每个实例包含一个问题题干、3到5个可能的选项以及表示正确答案的字母。数据集由BSC-CNS的语言技术单位策划，由Projecte AINA资助，使用CC-BY-SA 4.0许可证。

原始信息汇总

数据集概述

名称: arc_ca

语言: 加泰罗尼亚语

许可: CC-BY-SA 4.0

任务类别: 问答、多选

数据集大小:

• 下载大小: 286851字节
• 数据集大小: 525323字节

配置名称: ARC-Challenge

数据集结构:

• id: 字符串类型，问题-答案对的标识符
• question: 字符串类型，待回答的问题
• choices: 字典类型，包含答案文本和标签
• answerKey: 字符串类型，正确答案的标签

数据集分割:

• 测试集: 1172个示例，417236字节
• 验证集: 299个示例，108087字节

数据集描述

arc_ca是一个基于多选科学问题的问答数据集，适用于小学水平。数据集包含2950个实例，分为Easy和Challenge版本。每个实例包含一个问题、3至5个可能的答案及正确答案的字母标识。

数据集使用

适用场景:

• 常识问答
• 高级问答
• 多选测试
• 阅读理解测试

不适用场景:

• 不应使用测试集和验证集来训练任何语言模型

数据集创建

翻译过程:

• 日期和单位转换
• 人名翻译
• 语言风格保持
• 数据集逻辑维护
• 错误处理
• 避免模式并保持长度

搜集汇总

数据集介绍

构建方式

arc_ca数据集源自英文版ARC数据集（AI2推理挑战），包含Easy与Challenge两个版本。该数据集由巴塞罗那超级计算中心语言技术单元主导，在AINA项目资助下，聘请母语为加泰罗尼亚语的专业译员完成翻译。翻译过程中制定了详尽的指南，涵盖日期单位转换、人名处理、语言风格多样性维护及数据内部逻辑保真等维度。为确保翻译质量，译员在完成500、1000和2000个样本时分别提交译文供团队加泰罗尼亚语专家审校。最终数据保留了原始ARC数据集的验证集与测试集划分，其中Easy版本含约2950个实例，Challenge版本含约1469个实例，每个实例包含问题、3至5个选项及正确答案标签。

使用方法

arc_ca适用于多类自然语言处理评估场景。可直接作为常识问答基准，测试模型对基础科学知识的掌握程度；亦可用于高级问答任务，检验模型对不同类型知识（如过程性知识与目的论知识）的推理能力。其多项选择格式支持多选项间的逻辑比较，适用于评估模型的区分能力。使用时，研究者应加载各配置（ARC-Challenge或ARC-Easy）下的验证集与测试集文件，解析每条JSONL记录中的question、choices和answerKey字段。需特别注意的是，该数据集专为评估而非训练设计，严禁将测试集或验证集用于模型训练，以免影响评估的客观性与可比性。

背景与挑战

背景概述

在自然语言处理领域，评估模型在复杂推理任务上的能力一直是研究的核心挑战之一。ARC（AI2 Reasoning Challenge）数据集由艾伦人工智能研究所于2018年创建，旨在超越传统的检索式问答，聚焦于需要深度推理和常识知识的问题。arc_ca数据集是由巴塞罗那超级计算中心语言技术单元在AINA项目资助下，于2023年左右推出的加泰罗尼亚语版本。该数据集包含ARC-Easy和ARC-Challenge两个子集，分别包含2950个和1469个样本，涵盖验证集和测试集。其核心研究问题在于提供一种高难度的多项选择科学问答基准，以推动加泰罗尼亚语中语言模型的推理能力评估。作为低资源语言的重要资源，arc_ca对加泰罗尼亚语的自然语言处理研究具有显著的推动作用。

当前挑战

arc_ca数据集所应对的领域挑战主要在于，现有数据集通常依赖表面线索即可回答，而ARC系列要求模型具备真正的逻辑推理、常识知识和多步理解能力，尤其在科学问题中需要整合过程性知识和目的论知识。数据集构建过程中面临多重挑战：首先，专业翻译需确保答案逻辑和事实准确性在跨语言转换后依然成立，避免引入语言模式导致的提示偏差。其次，翻译团队需处理单位换算、专有名词本地化及科学术语一致性，同时保持选项长度与难度与原版相近。此外，数据集通过人工抽样检查迭代修正，确保翻译质量，但加泰罗尼亚语作为低资源语言，缺乏大规模预训练语料，进一步增加了模型在此数据集上取得突破的难度。

常用场景

经典使用场景

arc_ca数据集聚焦于加泰罗尼亚语环境下的小学科学知识问答，涵盖从基础常识到复杂推理的多项选择题目。其经典使用场景在于评估语言模型在低资源语言中的常识推理与文本理解能力，尤其关注模型能否在缺乏表面线索的情况下，依靠深层语义分析与世界知识做出正确判断。该数据集被广泛用于跨语言问答系统的基准测试，成为检验模型在非英语语种上推理鲁棒性的重要工具。

解决学术问题

该数据集旨在解决自然语言处理领域中长期存在的低资源语言常识推理评估难题。传统问答数据集多集中于英语，导致模型在加泰罗尼亚语等语种上的推理能力难以量化。arc_ca通过专业翻译与严格质量控制，填补了这一空白，使研究者能够系统评估模型在跨语言场景下的知识迁移与逻辑推理表现。其发布推动了多语言推理研究的进展，为构建更公平、更普适的AI系统提供了关键的评测基准，对促进语言技术的多样性发展具有深远意义。

实际应用

在实际应用中，arc_ca数据集主要用于加泰罗尼亚语智能教育系统的开发与优化。例如，它可以作为自动问答辅导工具的核心评测数据，帮助构建能够理解学生提问并提供准确科学解释的AI助手。此外，该数据集也被应用于低资源语言的搜索引擎优化，提升智能助理在加泰罗尼亚语环境中回答事实性问题的质量。通过模拟真实教学场景中的多选测试，arc_ca为教育科技产品提供了可靠的性能验证手段。

数据集最近研究

最新研究方向

arc_ca数据集聚焦于加泰罗尼亚语背景下科学常识问答与多选推理的前沿评估。近期研究热点在于利用该数据集测试多语言大模型的推理稳健性，尤其关注模型在低资源语言（如加泰罗尼亚语）上处理复杂科学问题的能力。伴随Aina项目对加泰罗尼亚语资源的推进，arc_ca成为衡量模型语言泛化与知识迁移的关键基准，其挑战性子集（ARC-Challenge）因高难度而常被用于检验模型超越表面线索的深层理解。该数据集的引入推动了多语言NLP在科学教育领域的应用，促进了模型对跨语言常识推理与逻辑一致性的研究，对评估AI在非英语环境下的认知科学能力具有深远意义。