projecte-aina/InstruCAT

InstruCat数据集包含216,826条加泰罗尼亚语的指令，这些指令是从多个数据集中转换而来，涵盖了多种任务类型，如摘要生成、问答、文本分类、命名实体识别、情感分析、毒性检测、短语生成、文本生成和蕴含生成等。数据集分为训练集、验证集和测试集，分别包含165,100、25,351和26,375条指令。数据集由巴塞罗那超级计算中心的语言技术部门策展，并受欧盟NextGenerationEU项目的资助。数据集采用Creative Commons Attribution-NonCommercial-NoDerivs 4.0 International许可。

The InstruCat dataset contains 216,826 Catalan instructions, which are converted from multiple datasets and cover a wide range of task types, including summarization, question answering, text classification, named entity recognition, sentiment analysis, toxicity detection, phrase generation, text generation, entailment generation, and so on. The dataset is divided into training, validation, and test sets, which contain 165,100, 25,351, and 26,375 instructions respectively. The dataset is curated by the Language Technologies Department of the Barcelona Supercomputing Center and funded by the EU NextGenerationEU program. The dataset is licensed under the Creative Commons Attribution-NonCommercial-NoDerivs 4.0 International license.

原始信息汇总

数据集概述

数据集描述

• 名称: InstruCat
• 语言: 加泰罗尼亚语 (ca-ES)
• 许可证: Creative Commons Attribution-NonCommercial-NoDerivs 4.0 International

数据集总结

InstruCat 是一个包含216,826条加泰罗尼亚语指令的数据集。该数据集从多个源数据集转换而来，包括：

• caBreu: 摘要任务，包括极端和抽象摘要。
• CatalanQA: 对应于问题。
• CaWikiTC: 文本分类任务，包括定义类别和选择所属类别。
• ceil: 命名实体识别任务，包括列出所有实体和特定类别实体。
• CoqCat: 对应于对话的首个问题。
• GuiaCat: 情感分析任务。
• IntoxiCat: 二元分类任务，判断文本是否具有毒性。
• NLUCat: 短语生成任务，表达特定意图。
• Parafraseja: 文本生成任务，生成意义等同的文本。
• PAWS-ca: 文本生成任务，生成意义等同的文本。
• sts-ca: 文本生成任务，生成意义等同的文本。
• teca: 包含推断生成和判断文本间推断关系的任务。
• WikiCat: 文本分类任务，包括定义类别和选择所属类别。

支持的任务和排行榜

• 训练大型语言模型（LLMs）

数据集结构

数据实例

数据集包含三个JSONL文件，分别对应训练、验证和测试集。

示例（测试集）:

{ "ID": "Parafraseja_8977", "instruction": "Reescriu aquesta frase sense alterar-ne el significat:", "context": "Es tracta dun tipus que ens falla ja que a ell li falla aquesta falta dinterès per tal dexercir el domini sobre lambient.", "response": "Es tracta dun tipus que ens falla perquè a ell li falla aquesta falta dinterès per exercir el domini sobre lambient.", "category": "paraphrasis" }

类别分布

类别	指令数量	百分比
ner	59410	27.39%
paraphrasis	34695	16.00%
text_classification	33393	15.40%
toxicity	29809	13.74%
qa	27427	12.64%
phrase_generation	11873	5.47%
entailment_generation	6354	2.93%
sentiment_analysis	5750	2.65%
abstractive_summarization	2999	1.38%
extreme_summarization	2999	1.38%
entailment	2117	0.97%

数据分割

• train.jsonl: 165100条指令
• validation.jsonl: 25351条指令
• test.jsonl: 26375条指令

附加信息

数据集管理

• 管理单位: 巴塞罗那超级计算中心（BSC）的语言技术部门
• 资金支持: 由欧盟NextGenerationEU资助的ILENIA项目

许可证信息

• 整个工作受最严格的许可证约束，即Creative Commons Attribution-NonCommercial-NoDerivs 4.0 International许可证。

引用信息

• [N/A]

贡献

• [N/A]