nayohan/SQuARe-question

该数据集是一个大规模的敏感问题和可接受回答的数据集，通过人机协作创建。包含问题、英文问题、敏感性、类别和原始注释等特征。原始注释进一步细分为主观性或客观性以及敏感性或非敏感性，每个子特征都包含工人ID。数据集分为训练集、验证集、测试集和测试集外数据，每个部分都有具体的字节大小和示例数量。数据集的语言为韩语，标签为安全性，许可证为MIT。

This dataset is a large-scale collection of sensitive questions and acceptable responses, created through human-machine collaboration. It includes features such as questions, English questions, sensitivity, categories, and raw annotations. The raw annotations are further divided into subjective or objective and sensitive or non-sensitive, each with worker IDs. The dataset is divided into training, validation, test, and out-of-distribution test sets, each with specific byte sizes and example counts. The dataset is in Korean, tagged with safety, and licensed under MIT.

原始信息汇总

数据集概述

数据集信息

• 特征:

  • question: 类型为 string
  • question_en: 类型为 string
  • sensitive?: 类型为 int64
  • category: 类型为 string
  • raw_annotations: 结构化数据
    • Q2: Subjective or Objective:
      • subjective?: 类型为 string
      • workerID: 类型为 int64
    • Q3: Sensitive or Non-sensitive:
      • category: 类型为 string
      • workerID: 类型为 int64

• 分割:

  • train: 包含 37115 个样本，大小为 16237558 字节
  • valid: 包含 6882 个样本，大小为 3114014 字节
  • test: 包含 6945 个样本，大小为 3153147 字节
  • test_ood: 包含 255 个样本，大小为 148855 字节

• 下载大小: 8411408 字节

• 数据集大小: 22653574 字节

配置

• 默认配置:
  • train: 数据路径为 data/train-*
  • valid: 数据路径为 data/valid-*
  • test: 数据路径为 data/test-*
  • test_ood: 数据路径为 data/test_ood-*

其他信息

• 许可证: MIT
• 语言: 韩语 (ko)
• 标签: 安全 (safety)

搜集汇总

数据集介绍

构建方式

在人工智能安全研究日益受到重视的背景下，SQuARe-question数据集应运而生，旨在为韩语敏感问题检测提供高质量的标注资源。该数据集由Naver AI团队通过人机协作的方式构建，首先利用大规模语言模型生成候选问题，随后由专业标注员进行细致的敏感性与主观性判定。每个样本包含原始韩语问题、英文翻译、敏感度标签、分类标签以及详细的标注元数据，如标注者ID和具体判定类别，从而确保了数据构建过程的严谨性与可追溯性。

使用方法

使用SQuARe-question数据集时，研究者可直接从HuggingFace加载预定义的训练、验证、测试及分布外测试划分。数据以结构化格式存储，包含问题文本、英文翻译、敏感度标签及分类信息，便于快速适配各类文本分类模型。建议利用其丰富的元数据进行多任务学习，例如同时预测敏感性与主观性。分布外测试集特别适合评估模型在未见场景下的鲁棒性，从而推动韩语安全对话系统的可靠发展。

背景与挑战

背景概述

在人工智能与自然语言处理领域，安全性与伦理合规性日益成为关键议题，尤其是针对用户提问中可能隐含的敏感内容。nayohan/SQuARe-question数据集由NAVER AI Lab联合首尔大学、韩国科学技术院等多家机构的研究人员于2023年创建，旨在系统性地探索和标注韩语问题中的敏感性与主观性。该数据集的核心研究问题聚焦于如何通过人机协作方式，大规模识别和分类那些涉及隐私、歧视、暴力等敏感领域的问题，从而为构建更安全的对话系统提供基准。作为SQuARe项目的重要组成部分，该数据集包含超过5万个标注样本，覆盖训练、验证、测试及域外测试集，其影响力体现在为韩语安全基准测试提供了标准化资源，推动了多语言安全研究的发展。

当前挑战

SQuARe-question数据集所面临的挑战主要集中在两个层面。在领域问题层面，其核心任务是精准区分主观性与客观性问题，并识别敏感与非敏感内容，这要求模型具备深层次语义理解能力以应对模糊边界，例如文化差异导致的敏感度判断偏差。在构建过程中，挑战尤为突出：首先，敏感问题的定义需跨学科协作，涉及法律、伦理学与语言学专家共识，以确保标签一致性；其次，人机协作标注流程中，工人间的主观判断差异需通过多轮审核与迭代校准来调和；此外，域外测试集的构建要求覆盖罕见但关键的敏感场景，以评估模型的泛化能力，而数据稀疏性使得这一过程难度倍增。

常用场景

经典使用场景

在自然语言处理与人工智能伦理交叉的研究领域中，nayohan/SQuARe-question数据集作为首个大规模韩语敏感问题资源，为理解语言中的隐私边界与敏感性维度提供了关键支撑。该数据集精心收录了超过五万条标注有主观性、敏感类别及人工注释的问答对，其经典使用场景聚焦于训练和评估对话系统对敏感话题的识别与规避能力。研究者可借助此数据集构建分类模型，精准区分主观与客观问题，并判定内容是否涉及敏感领域，从而推动语言模型在安全性与合规性方面的发展。

解决学术问题

该数据集有效解决了学术界长期面临的两个核心挑战：一是缺乏多维度标注的韩语敏感问题语料库，导致相关研究难以深入；二是现有模型在处理文化特异性敏感话题时表现不佳，无法适应不同语言环境下的伦理需求。SQuARe-question通过引入细粒度的敏感类别标注和主观性判断，为研究者提供了基准测试工具，用于评估模型对隐私、歧视、暴力等敏感内容的感知能力，进而推动跨文化安全对话系统的理论构建与实证验证。

实际应用

在实际应用层面，SQuARe-question数据集为韩语智能客服、社交机器人及内容审核系统提供了重要的训练基础。例如，企业可基于该数据集训练对话代理，使其在用户提出涉及健康、政治或人际关系等敏感问题时，能够自动触发安全响应机制，避免输出不当内容。此外，该数据集还被用于开发教育领域的伦理审查工具，帮助在线平台过滤潜在的冒犯性言论，提升人机交互环境的安全性与包容性。

数据集最近研究

最新研究方向

在人工智能安全与伦理治理日益成为全球焦点的背景下，nayohan/SQuARe-question数据集聚焦于韩语敏感问题的识别与分类，代表了自然语言处理领域在安全对齐与有害内容检测方面的前沿探索。该数据集通过人机协作方式构建，涵盖主观性、敏感度等多维度标注，为研究大型语言模型在面对敏感查询时的响应策略提供了关键基准。当前，随着韩国及国际社会对AI伦理规范的强化，SQuARe-question不仅推动了多语言安全基准的建立，还通过引入分布外测试集，强化了模型在未知场景下的鲁棒性评估，对构建负责任、可信赖的生成式AI系统具有深远意义。