Short-Answer-Feedback/saf_micro_job_german

SAF - Micro Job - German 是一个德语短答案反馈数据集，旨在解决缺乏内容反馈数据集的问题。该数据集包含8个用于微工作培训的德语问题，涵盖了问题、参考答案、提供的答案、答案反馈、验证反馈和评分等字段。数据集分为训练集、验证集和两个测试集（未见过的答案和未见过的问题），可用于训练文本生成模型以生成自动短答案反馈。数据集的创建过程包括由两名经验丰富的员工进行注释，并通过讨论解决分歧以形成最终标准。

SAF - Micro Job - German is a German short answer feedback dataset developed to address the scarcity of content-oriented feedback datasets. This dataset includes 8 German questions intended for micro-job training, covering fields such as questions, reference answers, submitted answers, answer feedback, validation feedback, and scoring. The dataset is divided into a training set, a validation set, and two test sets (unseen answers and unseen questions), which can be utilized to train text generation models for generating automated short answer feedback. The dataset creation process involved two experienced employees performing annotation, with disagreements resolved through discussions to formulate the final standardized guidelines.

原始信息汇总

数据集概述

数据集名称

• pretty_name: SAF - Micro Job - German

语言

• language: de (德语)

数据集大小

• size_categories: 1K<n<10K

数据集特征

• features:
  • id: 数据类型为string
  • question: 数据类型为string
  • reference_answer: 数据类型为string
  • provided_answer: 数据类型为string
  • answer_feedback: 数据类型为string
  • verification_feedback: 数据类型为string
  • score: 数据类型为float64

数据集分割

• splits:
  • train: 包含1226个实例，数据大小为885526字节
  • validation: 包含308个实例，数据大小为217946字节
  • test_unseen_answers: 包含271个实例，数据大小为198832字节
  • test_unseen_questions: 包含602个实例，数据大小为545524字节

许可证

• license: cc-by-4.0

数据集描述

• Dataset Summary: 该数据集是Short Answer Feedback (SAF)的一部分，专注于德语短答案反馈，用于微工作培训。数据集包含的问题、参考答案、提供的答案及答案反馈均为德语。
• Supported Tasks: 数据集可用于训练Text2Text Generation模型，以生成自动短答案反馈。
• Languages: 数据集中的所有文本均为德语。

数据集结构

• Data Instances: 每个实例包含id、question、reference_answer、provided_answer、answer_feedback、verification_feedback和score。
• Data Fields: 所有分割共享相同的数据字段，包括id、question、reference_answer、provided_answer、answer_feedback、verification_feedback和score。
• Data Splits: 数据集分为训练集、验证集、测试集（包含未见过的答案）和测试集（包含未见过的问題）。

数据集创建

• Annotation Process: 数据集的注释由两名经验丰富的appJobber员工完成，他们接受了注释指南的培训，并根据商定的评分标准和注释指南提供反馈。

搜集汇总

数据集介绍

构建方式

在智能教育领域，针对简答题的自动反馈生成是自然语言处理的重要应用方向。该数据集源自Filighera等人于ACL 2022提出的双语简答反馈数据集，本版本聚焦于德语微工作场景，收集了来自众包平台appJobber的8道德语问题及其对应的参考答案与用户作答。注释过程由两名经验丰富的平台员工完成，他们接受了由心理学博士生监督的通用注释指南培训，并依据评分量规独立为每份作答提供反馈。经协商解决分歧后，个人的注释结果被整合为统一的黄金标准数据集，确保了反馈质量与一致性。

使用方法

该数据集主要面向文本到文本生成任务，可借助HuggingFace Transformers库训练模型以自动生成简答反馈。使用时需加载各数据分片，将问题与参考答案作为输入，以答案反馈作为目标输出。训练集用于模型学习，验证集用于超参数调优，而两个测试集分别评估模型对未见答案与未见问题的反馈生成能力。数据以JSON格式存储，便于直接解析与预处理，研究人员可结合序列到序列架构实现反馈的自动化生成与评估。

背景与挑战

背景概述

在自然语言处理与教育技术交叉领域，自动反馈生成正逐渐成为个性化学习支持的核心环节。然而，现有数据集多聚焦于答案正确性判断，而缺乏对内容导向性反馈的深入刻画。为弥补这一空白，Filighera等研究人员于2022年在ACL长篇论文中提出了Short Answer Feedback（SAF）数据集，该数据集由德国达姆施塔特工业大学团队主导构建，旨在为短答案反馈生成任务提供高质量标注资源。本版本专注于德语微工作（Micro Job）场景，涵盖8道源自众包平台appJobber培训环节的问题，包含1226条训练样本、308条验证样本以及多组测试集，分别用于评估未见答案与未见问题的泛化能力。该数据集的发布推动了文本到文本生成模型在自动反馈领域的应用，并促进了跨语言的短答案反馈研究。

当前挑战

该数据集面临的挑战主要体现在两个层面。在领域问题层面，自动短答案反馈生成需应对学生答案的多样性与不规范性，同一问题可能涌现出表达迥异但语义相近的答案，模型需具备对内容正确性进行细致分级的能力，而不仅仅是二元分类。在构建过程中，挑战则集中于标注的一致性与可靠性：两位众包平台员工需在心理学博士生监督下，经过严格培训后依据评分量表和标注指南对答案逐一评判，并将独立标注结果融合为统一金标准，其间需解决分歧并确保反馈文本的语言质量。此外，数据规模相对有限（数千条），且仅覆盖德语单一语言，限制了模型在更广泛场景下的泛化能力。

常用场景

经典使用场景

在自然语言处理与教育技术交叉领域，Short-Answer-Feedback/saf_micro_job_german数据集被广泛用于训练文本到文本生成模型，以自动生成针对学生简答题的个性化反馈。该数据集聚焦于德语微任务培训场景，包含8个源自众包平台appJobber的问题，以及对应的参考答案、学生作答、人工标注的反馈和评分。其经典使用模式是作为序列到序列任务的训练语料，模型基于输入的问题、参考答案和学生答案，生成具有语义针对性的反馈文本，从而模拟人类教师在简答题批改中的判断与指导过程。

解决学术问题

该数据集的核心价值在于填补了以内容为中心、而非仅关注正确性的反馈语料空白。传统简答题自动评分系统多侧重于二元正确性判定，而忽略了如何提供有意义的解释性反馈。SAF Micro Job German通过引入细粒度的评分（0到1连续值）和对应的自然语言反馈，使得研究者能够探索如何生成既包含错误定位又具有建设性指导的反馈语句。它解决了自动反馈生成中缺乏高质量、多领域、多语言标注数据的瓶颈，推动了可解释性教育评估技术的发展。

实际应用

在实际教育场景中，该数据集可用于构建智能辅导系统中的自动反馈模块，尤其适用于大规模在线培训平台。例如，在众包工作者培训、职业资格认证备考或企业内训中，系统能够基于学员提交的简答题答案，即时生成如“部分正确，请补充XX细节”或“概念理解有误，建议回顾XX章节”等针对性反馈。这不仅减轻了人工批改的负担，还能为学习者提供即时、一致的指导，提升培训效率与学习成果。

数据集最近研究

最新研究方向

在自然语言处理与智能教育深度融合的前沿领域，自动简答反馈（Short Answer Feedback）研究正逐渐成为提升个性化学习效能的关键突破点。该数据集聚焦于德语微任务场景，针对众包平台appJobber中的培训问答构建，涵盖了从问题、参考答案到学生作答及多维度反馈的完整链路。当前研究热点集中于利用text2text生成模型实现细粒度、内容导向的自动反馈生成，以弥补传统二元正误判定在认知引导上的不足。该数据集不仅支持对未见答案与未见问题的泛化能力评估，更为跨语言反馈系统的可迁移性探索提供了宝贵资源。其意义在于推动智能辅导系统从简单评分迈向解释性反馈，助力构建更具交互性与适应性的数字化学习生态。