Rubilax/goat

--- license: mit task_categories: - question-answering language: - ru tags: - sociology size_categories: - 1K<n<10K dataset_info: - config_name: single_choice_sociology features: - name: input dtype: string - name: A dtype: string - name: B dtype: string - name: C dtype: string - name: D dtype: string - name: answer dtype: class_label: names: '0': A '1': B '2': C '3': D - config_name: multiple_choice_sociology features: - name: input dtype: string - name: answer dtype: string - config_name: word_generation_sociology features: - name: input dtype: string - name: answer dtype: string - config_name: word_generation_literature features: - name: input dtype: string - name: answer dtype: string - config_name: matching_sociology features: - name: input dtype: string - name: answer dtype: string - config_name: matching_literature features: - name: input dtype: string - name: answer dtype: string configs: - config_name: single_choice_sociology data_files: - split: test path: "single_choice/test/sociology_test.csv" - split: dev path: "single_choice/dev/sociology_dev.csv" - config_name: multiple_choice_sociology data_files: - split: test path: "multiple_choice/test/sociology_test.csv" - split: dev path: "multiple_choice/dev/sociology_dev.csv" - config_name: word_generation_sociology data_files: - split: test path: "word_generation/test/sociology_test.csv" - split: dev path: "word_generation/dev/sociology_dev.csv" - config_name: word_generation_literature data_files: - split: test path: "word_generation/test/literature_test.csv" - split: dev path: "word_generation/dev/literature_dev.csv" - config_name: word_generation_sociology data_files: - split: test path: "word_generation/test/sociology_test.csv" - split: dev path: "word_generation/dev/sociology_dev.csv" - config_name: word_generation_literature data_files: - split: test path: "word_generation/test/literature_test.csv" - split: dev path: "word_generation/dev/literature_dev.csv" - config_name: matching_sociology data_files: - split: test path: "matching/test/sociology_test.csv" - split: dev path: "matching/dev/sociology_dev.csv" - config_name: matching_literature data_files: - split: test path: "matching/test/literature_test.csv" - split: dev path: "matching/dev/literature_dev.csv" ---许可证：MIT许可证 任务类别： - 问答 语言： - 俄语（ru） 标签： - 社会学 样本规模： - 1000 < 样本量 < 10000 数据集信息： - 配置名称：single_choice_sociology 特征： - 字段名：输入（input），数据类型：字符串 - 字段名：A，数据类型：字符串 - 字段名：B，数据类型：字符串 - 字段名：C，数据类型：字符串 - 字段名：D，数据类型：字符串 - 字段名：答案（answer），数据类型：类标签（class_label），其名称映射为：'0'对应'A'，'1'对应'B'，'2'对应'C'，'3'对应'D' - 配置名称：multiple_choice_sociology 特征： - 字段名：输入（input），数据类型：字符串 - 字段名：答案（answer），数据类型：字符串 - 配置名称：word_generation_sociology 特征： - 字段名：输入（input），数据类型：字符串 - 字段名：答案（answer），数据类型：字符串 - 配置名称：word_generation_literature 特征： - 字段名：输入（input），数据类型：字符串 - 字段名：答案（answer），数据类型：字符串 - 配置名称：matching_sociology 特征： - 字段名：输入（input），数据类型：字符串 - 字段名：答案（answer），数据类型：字符串 - 配置名称：matching_literature 特征： - 字段名：输入（input），数据类型：字符串 - 字段名：答案（answer），数据类型：字符串 配置： - 配置名称：single_choice_sociology 数据文件： - 划分：测试集，路径："single_choice/test/sociology_test.csv" - 划分：开发集，路径："single_choice/dev/sociology_dev.csv" - 配置名称：multiple_choice_sociology 数据文件： - 划分：测试集，路径："multiple_choice/test/sociology_test.csv" - 划分：开发集，路径："multiple_choice/dev/sociology_dev.csv" - 配置名称：word_generation_sociology 数据文件： - 划分：测试集，路径："word_generation/test/sociology_test.csv" - 划分：开发集，路径："word_generation/dev/sociology_dev.csv" - 配置名称：word_generation_literature 数据文件： - 划分：测试集，路径："word_generation/test/literature_test.csv" - 划分：开发集，路径："word_generation/dev/literature_dev.csv" - 配置名称：word_generation_sociology 数据文件： - 划分：测试集，路径："word_generation/test/sociology_test.csv" - 划分：开发集，路径："word_generation/dev/sociology_dev.csv" - 配置名称：word_generation_literature 数据文件： - 划分：测试集，路径："word_generation/test/literature_test.csv" - 划分：开发集，路径："word_generation/dev/literature_dev.csv" - 配置名称：matching_sociology 数据文件： - 划分：测试集，路径："matching/test/sociology_test.csv" - 划分：开发集，路径："matching/dev/sociology_dev.csv" - 配置名称：matching_literature 数据文件： - 划分：测试集，路径："matching/test/literature_test.csv" - 划分：开发集，路径："matching/dev/literature_dev.csv"

原始信息汇总

数据集概述

许可证

• MIT许可证

任务类别

• 问答

语言

• 俄语

标签

• 社会学

数据集大小

• 1K<n<10K

数据集配置

单选社会学

• 配置名称: single_choice_sociology
• 特征:
  • input: string
  • A: string
  • B: string
  • C: string
  • D: string
  • answer:
    • class_label:
      • 0: A
      • 1: B
      • 2: C
      • 3: D
• 数据文件:
  • 测试集: single_choice/test/sociology_test.csv
  • 开发集: single_choice/dev/sociology_dev.csv

多选社会学

• 配置名称: multiple_choice_sociology
• 特征:
  • input: string
  • answer: string
• 数据文件:
  • 测试集: multiple_choice/test/sociology_test.csv
  • 开发集: multiple_choice/dev/sociology_dev.csv

单词生成社会学

• 配置名称: word_generation_sociology
• 特征:
  • input: string
  • answer: string
• 数据文件:
  • 测试集: word_generation/test/sociology_test.csv
  • 开发集: word_generation/dev/sociology_dev.csv

单词生成文学

• 配置名称: word_generation_literature
• 特征:
  • input: string
  • answer: string
• 数据文件:
  • 测试集: word_generation/test/literature_test.csv
  • 开发集: word_generation/dev/literature_dev.csv

匹配社会学

• 配置名称: matching_sociology
• 特征:
  • input: string
  • answer: string
• 数据文件:
  • 测试集: matching/test/sociology_test.csv
  • 开发集: matching/dev/sociology_dev.csv

匹配文学

• 配置名称: matching_literature
• 特征:
  • input: string
  • answer: string
• 数据文件:
  • 测试集: matching/test/literature_test.csv
  • 开发集: matching/dev/literature_dev.csv

搜集汇总

数据集介绍

构建方式

在社会科学与文学研究的交叉领域中，数据集Rubilax/goat应运而生，旨在为自然语言处理模型提供针对俄罗斯语境的问答能力。该数据集采用多维度构建策略，涵盖社会学与文学两大主题，并细分为单项选择题、多项选择题、词语生成及匹配题四种任务类型。每种任务均以CSV格式存储，并划分为测试集与开发集，确保数据划分的严谨性。单项选择题配置了四个选项字段及对应的标准答案标签，而多项选择题与词语生成任务则直接提供输入与答案对，匹配任务则进一步强化了语义关联的建模需求。这种结构化设计使得数据集能够系统性地评估模型在不同推理难度下的表现。

特点

Rubilax/goat数据集的核心特色在于其任务多样性与领域专注性的有机结合。它包含了六种配置，覆盖从封闭式选择到开放式生成的多种问答形式，能够全面检验模型的文本理解、逻辑推理及知识检索能力。尤其值得关注的是，该数据集聚焦于社会学与文学领域，为俄语自然语言处理提供了稀缺的高质量评估资源。每个配置均明确标注了样本规模（1K至10K之间），确保实验的可重复性。此外，数据集的MIT开源许可协议降低了使用门槛，促进了学术社区内的协作与创新。

使用方法

使用Rubilax/goat数据集时，研究者可通过HuggingFace Datasets库直接加载各配置。例如，加载单项选择社会学子集时，只需指定配置名'single_choice_sociology'即可获取测试与开发分片。模型需根据输入字段与四个选项预测正确答案，并利用类标签映射进行准确率评估。对于多项选择与词语生成任务，则需设计相应的序列生成或分类架构。匹配任务要求模型理解输入与答案之间的语义对应关系，适用于检索式或对比学习模型。数据集已预分割为dev与test子集，便于直接开展模型调优与基准测试，无需额外划分工作。

背景与挑战

背景概述

在自然语言处理与社会科学交叉研究领域，针对俄语语境下的社会学与文学知识推理任务，长期缺乏高质量的标准化评估数据集。Rubilax/goat数据集由俄罗斯研究团队于近年构建，旨在填补这一空白。该数据集以多项选择、单词生成及匹配任务为核心，覆盖社会学与文学两大领域，设计了单选项、多选项、词汇生成及匹配等多种格式，为评估语言模型在结构化知识理解与语义匹配上的能力提供了独特基准。其研究问题聚焦于模型能否在俄语人文社科文本中准确捕捉概念关联与逻辑关系，对推动低资源语言在特定领域推理任务中的发展具有重要影响力。

当前挑战

该数据集所解决的领域问题在于，现有通用问答数据集多集中于英语或常识性知识，缺乏针对俄语社会学与文学专业领域的精细化推理评估。具体挑战包括：1）多选项任务中选项间语义高度相似，模型需具备细粒度语义区分能力；2）单词生成任务要求模型输出精确术语，对词汇召回与领域知识深度提出严峻考验；3）匹配任务需跨句子或段落建立概念对应关系，考验长文本理解与逻辑对齐能力。构建过程中，人工标注的歧义性控制、领域专家稀缺导致的标签一致性维护，以及俄语特有的形态变化对答案格式的干扰，均为数据集开发带来了显著困难。

常用场景

经典使用场景

在社会科学与文学研究的交叉地带，Rubilax/goat数据集凭借其多模态任务设计，成为评估语言模型在人文领域推理能力的标杆。该数据集包含单选题、多选题、词汇生成与匹配任务，覆盖社会学与文学两大领域，为模型在复杂语境下进行知识提取与逻辑判断提供了标准化的测试平台。研究者常将其作为基准，检验模型在细粒度语义理解、选项间差异辨识以及跨学科知识整合方面的表现，尤其适合用于对比不同预训练模型在人文问答场景中的鲁棒性与准确性。

解决学术问题

该数据集的核心学术贡献在于弥合了自然语言处理与人文社科研究之间的鸿沟。传统问答数据集多聚焦于常识或事实性知识，而Rubilax/goat通过引入社会学与文学领域的专业题目，有效解决了模型在抽象概念理解、文化背景推断及多义性文本解析上的不足。其意义在于推动了语言模型从机械记忆向深层语义推理的演进，为评估模型在非结构化、依赖领域知识的任务中的泛化能力提供了关键工具，进而促进了跨学科智能系统的发展。

衍生相关工作

该数据集催生了一系列围绕人文领域推理能力的研究工作。例如，有学者基于其单选题配置构建了社会学知识图谱，探索了实体关系抽取与推理链的生成方法。另有工作将其与多任务学习框架结合，通过联合训练社会学与文学子任务，提升了模型在跨领域迁移学习中的表现。此外，词汇生成任务被用于改进生成式模型的语义多样性评估指标，推动了更贴近人类认知的文本生成评价体系的发展。这些衍生研究共同拓展了数据集在人文计算中的理论边界与应用价值。