CAiRE/prosocial-dialog-kor_Hang

---
dataset_info:
features:
- name: context
dtype: string
- name: response
dtype: string
- name: rots
sequence: string
- name: safety_label
dtype: string
- name: safety_annotations
sequence: string
- name: safety_annotation_reasons
sequence: string
- name: source
dtype: string
- name: etc
dtype: string
- name: dialogue_id
dtype: int64
- name: response_id
dtype: int64
- name: episode_done
dtype: bool
- name: mt_context
dtype: string
splits:
- name: train
num_bytes: 78576351
num_examples: 120236
- name: validation
num_bytes: 13338951
num_examples: 20416
- name: test
num_bytes: 16306444
num_examples: 25029
download_size: 50246041
dataset_size: 108221746
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: validation
path: data/validation-*
- split: test
path: data/test-*
---

数据集详情：
特征列：
- 列名：context，数据类型：字符串
- 列名：response，数据类型：字符串
- 列名：rots，数据类型：字符串序列
- 列名：safety_label，数据类型：字符串
- 列名：safety_annotations，数据类型：字符串序列
- 列名：safety_annotation_reasons，数据类型：字符串序列
- 列名：source，数据类型：字符串
- 列名：etc，数据类型：字符串
- 列名：dialogue_id，数据类型：64位整型
- 列名：response_id，数据类型：64位整型
- 列名：episode_done，数据类型：布尔类型
- 列名：mt_context，数据类型：字符串
数据划分：
- 划分名称：train，字节数：78576351，样本数量：120236
- 划分名称：validation，字节数：13338951，样本数量：20416
- 划分名称：test，字节数：16306444，样本数量：25029
下载大小：50246041，数据集总大小：108221746
配置项：
- 配置名称：default
数据文件：
- 划分：train，路径：data/train-*
- 划分：validation，路径：data/validation-*
- 划分：test，路径：data/test-*

原始信息汇总

数据集概述

数据特征

• context: 类型为字符串
• response: 类型为字符串
• rots: 序列类型为字符串
• safety_label: 类型为字符串
• safety_annotations: 序列类型为字符串
• safety_annotation_reasons: 序列类型为字符串
• source: 类型为字符串
• etc: 类型为字符串
• dialogue_id: 类型为int64
• response_id: 类型为int64
• episode_done: 类型为布尔值
• mt_context: 类型为字符串

数据分割

• train: 字节数为78576351，样本数为120236
• validation: 字节数为13338951，样本数为20416
• test: 字节数为16306444，样本数为25029

数据集大小

• 下载大小: 50246041字节
• 数据集大小: 108221746字节

配置

• config_name: default
  • data_files:
    • train: 路径为data/train-*
    • validation: 路径为data/validation-*
    • test: 路径为data/test-*

搜集汇总

数据集介绍

构建方式

在人工智能伦理与安全对话研究领域，CAiRE/prosocial-dialog-kor_Hang数据集应运而生，旨在推动韩语环境下亲社会对话系统的构建。该数据集基于原有的英文亲社会对话数据集进行跨语言迁移，通过机器翻译与人工校对相结合的方式，将英文对话语境与回复内容转化为高质量的韩语文本。数据集中每个样本包含对话上下文、回复、轮次标签、安全标签、安全标注及其理由等结构化信息，并特别保留了原始英文的机器翻译上下文（mt_context）字段，以支持多语言对比研究。数据集划分为训练集（120,236条）、验证集（20,416条）和测试集（25,029条），确保了模型训练与评估的充分性。

特点

该数据集的显著特征在于其多层次的安全标注体系，每条对话不仅被赋予整体性的安全标签（safety_label），还包含细粒度的安全标注（safety_annotations）与对应理由（safety_annotation_reasons），为研究者提供了从宏观到微观的安全行为分析维度。此外，数据集引入轮次标签（rots）以追踪对话中安全话题的演变，而对话ID与回复ID的设计则便于构建多轮交互序列。尤为独特的是，数据集同时提供韩语对话与英文机器翻译上下文，这一双语对齐特性使其成为跨语言安全对话迁移学习的理想基准。

使用方法

研究者可通过HuggingFace Datasets库轻松加载该数据集，默认配置下将自动获取训练、验证与测试三个分片，每个分片均以字典格式返回包含context、response、safety_label等关键字段的样本。在模型训练阶段，可基于context与response字段构建序列到序列的生成任务，或将safety_label作为分类标签训练安全检测器。对于更细粒度的分析，safety_annotations与safety_annotation_reasons字段可用于训练解释性安全模型。数据集的episode_done字段标识对话终止状态，便于构建动态对话策略。推荐使用韩语预训练语言模型（如KoBART、KoGPT）进行微调，并利用双语对齐字段开展跨语言知识蒸馏实验。

背景与挑战

背景概述

在自然语言处理领域，对话系统的安全性与伦理性日益成为研究焦点。CAiRE/prosocial-dialog-kor_Hang数据集由香港科技大学CAiRE研究团队于2022年创建，旨在推动韩语对话中亲社会行为的建模与评估。该数据集基于英文ProsocialDialog语料库，通过机器翻译与人工校对构建而成，包含约16.5万条对话样本，每条数据均标注了安全标签、风险类型及原因。核心研究问题聚焦于如何自动识别并生成符合社会规范的对话响应，以缓解有害言论的传播。该数据集填补了韩语安全对话资源的空白，为多语言对话系统的伦理对齐研究提供了重要基准，对提升AI交互的包容性与责任感具有深远意义。

当前挑战

该数据集面临的核心挑战在于解决韩语对话中的隐性攻击与文化特异性问题。韩语中敬语体系、间接表达及社会等级暗示等语言特征，使得简单基于关键词的毒性检测难以奏效，模型需理解深层语用意图。构建过程中，英文原数据经机器翻译后产生大量语义偏差，人工校对需耗费巨大精力确保文化适配性。此外，安全标签的标注主观性强，不同标注者对‘不尊重’或‘攻击性’的判断标准存在差异，导致标注一致性难以保证。数据规模虽大，但长尾风险场景（如职场权力滥用、性别歧视）的样本分布不均，进一步增加了模型泛化的难度。

常用场景

经典使用场景

在自然语言处理与计算社会学交叉领域，CAiRE/prosocial-dialog-kor_Hang数据集为韩语对话系统的社会行为建模提供了关键资源。该数据集通过标注对话轮次中的亲社会性（prosocial）与反社会性（antisocial）标签，并附有安全注解与原因说明，使得研究者能够系统性地分析对话中礼貌、尊重与支持性表达的动态演变。其经典使用场景包括训练对话模型识别有害言论并生成建设性回应，以及构建能够感知对话语境中社会风险的安全感知生成系统，从而提升人机交互的伦理合规性。

实际应用

在实际应用中，该数据集直接赋能韩语社交媒体平台的对话审核系统，帮助自动识别并干预仇恨言论、欺凌等反社会行为。基于此数据训练的模型可集成至客服机器人、教育辅导系统及心理健康支持平台，实时检测对话中的情绪风险并引导用户转向更具建设性的交流。此外，该数据集还支持开发面向韩语用户的个性化社交训练工具，通过模拟文明对话场景提升用户的数字公民素养，从而在广泛的社会互动中降低冲突风险。

衍生相关工作

该数据集衍生了一系列开创性工作，包括基于亲社会性标注的对话生成模型（如ProSocial-Dialog框架），以及融合安全注解的多任务学习架构。研究者进一步将其与对抗性训练结合，提出鲁棒性更强的有害言论过滤算法。在跨语言迁移学习方面，该数据集被用作韩语基准，验证了从英语到韩语的社会信号检测知识迁移的有效性。此外，基于其对话轮次结构，衍生出动态社会角色识别与长期对话关系建模等研究方向，为构建真正理解人类社交规范的AI系统奠定了方法论基础。