MikhailVyrodov/goat

--- license: mit task_categories: - question-answering language: - ru tags: - sociology size_categories: - 1K<n<10K dataset_info: - config_name: single_choice_sociology features: - name: input dtype: string - name: A dtype: string - name: B dtype: string - name: C dtype: string - name: D dtype: string - name: answer dtype: class_label: names: '0': A '1': B '2': C '3': D - config_name: multiple_choice_sociology features: - name: input dtype: string - name: answer dtype: string - config_name: word_generation_sociology features: - name: input dtype: string - name: answer dtype: string - config_name: word_generation_literature features: - name: input dtype: string - name: answer dtype: string - config_name: matching_sociology features: - name: input dtype: string - name: answer dtype: string - config_name: matching_literature features: - name: input dtype: string - name: answer dtype: string configs: - config_name: single_choice_sociology data_files: - split: test path: "single_choice/test/sociology_test.csv" - split: dev path: "single_choice/dev/sociology_dev.csv" - config_name: multiple_choice_sociology data_files: - split: test path: "multiple_choice/test/sociology_test.csv" - split: dev path: "multiple_choice/dev/sociology_dev.csv" - config_name: word_generation_sociology data_files: - split: test path: "word_generation/test/sociology_test.csv" - split: dev path: "word_generation/dev/sociology_dev.csv" - config_name: word_generation_literature data_files: - split: test path: "word_generation/test/literature_test.csv" - split: dev path: "word_generation/dev/literature_dev.csv" - config_name: word_generation_sociology data_files: - split: test path: "word_generation/test/sociology_test.csv" - split: dev path: "word_generation/dev/sociology_dev.csv" - config_name: word_generation_literature data_files: - split: test path: "word_generation/test/literature_test.csv" - split: dev path: "word_generation/dev/literature_dev.csv" - config_name: matching_sociology data_files: - split: test path: "matching/test/sociology_test.csv" - split: dev path: "matching/dev/sociology_dev.csv" - config_name: matching_literature data_files: - split: test path: "matching/test/literature_test.csv" - split: dev path: "matching/dev/literature_dev.csv" ---This dataset includes multiple configurations, covering question-answering tasks in the fields of sociology and literature. Specifically, it includes single-choice sociology questions, multiple-choice sociology questions, word generation for sociology and literature questions, and matching sociology and literature questions. The dataset is in Russian and has a size between 1,000 and 10,000 records.

原始信息汇总

数据集概述

基本信息

• 许可证: MIT
• 任务类别: 问答
• 语言: 俄语
• 标签: 社会学
• 数据集大小: 1K<n<10K

数据集配置

单选题 - 社会学

• 配置名称: single_choice_sociology
• 特征:
  • input: 字符串
  • A: 字符串
  • B: 字符串
  • C: 字符串
  • D: 字符串
  • answer: 类别标签
    • 0: A
    • 1: B
    • 2: C
    • 3: D
• 数据文件:
  • test: single_choice/test/sociology_test.csv
  • dev: single_choice/dev/sociology_dev.csv

多选题 - 社会学

• 配置名称: multiple_choice_sociology
• 特征:
  • input: 字符串
  • answer: 字符串
• 数据文件:
  • test: multiple_choice/test/sociology_test.csv
  • dev: multiple_choice/dev/sociology_dev.csv

词汇生成 - 社会学

• 配置名称: word_generation_sociology
• 特征:
  • input: 字符串
  • answer: 字符串
• 数据文件:
  • test: word_generation/test/sociology_test.csv
  • dev: word_generation/dev/sociology_dev.csv

词汇生成 - 文学

• 配置名称: word_generation_literature
• 特征:
  • input: 字符串
  • answer: 字符串
• 数据文件:
  • test: word_generation/test/literature_test.csv
  • dev: word_generation/dev/literature_dev.csv

匹配题 - 社会学

• 配置名称: matching_sociology
• 特征:
  • input: 字符串
  • answer: 字符串
• 数据文件:
  • test: matching/test/sociology_test.csv
  • dev: matching/dev/sociology_dev.csv

匹配题 - 文学

• 配置名称: matching_literature
• 特征:
  • input: 字符串
  • answer: 字符串
• 数据文件:
  • test: matching/test/literature_test.csv
  • dev: matching/dev/literature_dev.csv

搜集汇总

数据集介绍

构建方式

在社会学与文学交叉研究的广阔领域中，数据集的构建需兼顾学科特性与任务多样性。MikhailVyrodov/goat数据集以俄语为基底，围绕社会学与文学两大主题，设计了六种配置，涵盖单选题、多选题、词汇生成与配对任务。每个配置均以CSV格式存储，分为测试集与开发集，确保数据结构的清晰与可复现性。单选题配置中，输入文本附带四个选项（A至D），答案以类标签形式编码；多选题与词汇生成配置则直接提供输入与答案字符串，简化了任务格式。配对任务进一步细分为社会学与文学两个子领域，体现了对学科差异的细致考量。整体构建方式注重任务类型的多样性，为评估模型在复杂社会文化语境下的推理与生成能力奠定了结构化基础。

特点

该数据集最显著的特点在于其多任务、多学科的设计理念。通过整合社会学与文学两个领域，数据集不仅覆盖了事实性知识的问答，还引入了词汇生成与匹配等开放式任务，挑战模型在特定语境下的创造性输出与语义关联能力。单选题与多选题的并行存在，使得模型的表现可以从简单识别到复杂选择进行梯度评估。此外，数据集的规模适中（1K至10K样本），兼具探索性与可操作性，适合快速迭代实验。俄语语料的采用，则填补了非英语社会文化推理资源的空白，为跨语言研究提供了珍贵素材。这些特点共同塑造了一个兼具深度与广度的评估基准。

使用方法

在使用该数据集时，研究者可根据任务需求灵活选择配置。例如，若旨在评估模型的社会学知识理解，可优先加载single_choice_sociology或multiple_choice_sociology配置，通过对比模型输出与标准答案计算准确率。对于生成能力的测试，word_generation系列配置提供了开放式的输入输出对，适合采用BLEU或ROUGE等指标进行评价。配对任务则适用于衡量模型对概念间关系的把握。数据集以HuggingFace Datasets库的标准格式加载，用户只需指定配置名称与数据分割（如test或dev），即可快速获取结构化数据。这种模块化设计降低了使用门槛，使得研究者能高效地将该数据集集成到现有评估流程中。

背景与挑战

背景概述

在自然语言处理领域，面向特定学科知识的多模态问答任务日益受到关注，尤其是社会科学与人文学科中的复杂推理需求。MikhailVyrodov/goat数据集由研究者Mikhail Vyrodov于近期创建，旨在评估模型在俄语社会学与文学领域的理解与生成能力。该数据集涵盖了单项选择题、多项选择题、词汇生成及匹配任务等多种形式，聚焦于社会学与文学两大核心领域，为检验模型在专业学科知识上的掌握程度提供了标准化基准。其发布填补了俄语社会科学问答数据集的空白，推动了多语言、多学科评估体系的发展，对跨学科自然语言理解研究具有重要参考价值。

当前挑战

该数据集所解决的领域问题在于，现有问答基准多集中于通用知识或英语语境，缺乏对特定学科如社会学与文学的系统性评估，导致模型在专业领域中的推理能力难以衡量。构建过程中面临的挑战包括：需精心设计涵盖不同认知层次的问题类型（如选择、生成与匹配），以确保任务多样性；同时，俄语特有的语法复杂性和学科术语的精确性要求对数据标注质量提出了极高要求。此外，如何平衡社会学与文学两个学科的数据分布，避免偏差，并确保测试集与开发集的难度一致性，也是构建过程中的关键难题。

常用场景

经典使用场景

GOAT数据集聚焦于俄语语境下的社会科学与文学领域，其经典使用场景在于评估和提升大语言模型在人文知识问答、术语生成及概念匹配等任务上的表现。该数据集设计了单选题、多选题、词语生成与匹配四种任务形式，尤其适用于检验模型对俄语社会学与文学专业知识的理解深度与生成准确性，为多模态语言理解研究提供了精细化的评测基准。

解决学术问题

该数据集有效解决了俄语自然语言处理中人文社科领域标注数据匮乏的难题，填补了高阶语义理解与领域知识推理评估的空白。通过结构化任务设计，研究者得以深入探究模型在俄语社会学术语匹配、文学概念生成等复杂认知任务中的能力边界，推动了跨学科知识图谱构建与低资源语言评测方法的进步。

衍生相关工作

该数据集衍生了一系列俄语领域知识增强的预训练与微调工作，如基于其词语生成任务构建的俄语社会学术语向量库，以及利用匹配任务改进的跨语言知识迁移模型。此外，后续研究借鉴其多任务架构，拓展至俄语法律、历史等子领域，形成了系统性的人文语言理解评测体系，为低资源语言的自然语言处理研究树立了范本。