Isotonic/pii-masking-200k

Ai4Privacy PII200k数据集是一个多语言、多任务的数据集，主要用于训练模型从文本中移除个人身份信息（PII），特别是在AI助手和大型语言模型（LLMs）的背景下。数据集包含约209k个样本，涵盖了54种PII类别，涉及229个讨论主题/用例，分布在商业、教育、心理学和法律领域，并包含5种交互风格。数据集支持多种机器学习任务，如文本分类、标记分类、问答、文本生成等。数据集的特征包括掩码文本、未掩码文本、隐私掩码、跨度标签、BIO标签、分词文本和语言信息。数据集目前支持英语、法语、德语和意大利语，未来将支持更多语言。数据集通过专有算法生成，并经过人工验证，确保高质量且无隐私侵犯。

原始信息汇总

Ai4Privacy PII200k Dataset 概述

数据集基本信息

• 语言: 英语、法语、德语、意大利语
• 许可: cc-by-nc-4.0
• 多语言: 是
• 大小类别: 100K<n<1M
• 源数据集: 原始数据
• 任务类别: 对话、文本分类、标记分类、表格问答、问答、零样本分类、摘要、特征提取、文本生成、文本到文本生成

数据集配置

• 配置名称: default
• 数据文件:
  • 分割: train
  • 路径: data/train-*

数据集信息

• 特征:
  • masked_text: 字符串
  • unmasked_text: 字符串
  • privacy_mask: 字符串
  • span_labels: 字符串
  • bio_labels: 序列字符串
  • tokenised_text: 序列字符串
  • language: 字符串
• 分割:
  • 名称: train
  • 字节数: 315574161
  • 示例数: 209261
• 下载大小: 0
• 数据集大小: 315574161

数据集标签

• legal
• business
• psychology
• privacy

数据集目的和特点

• 目的: 训练模型以从文本中移除个人身份信息（PII），特别是在AI助手和LLM的背景下。
• 示例文本: 包含54个PII类别（敏感数据类型），针对229个讨论主题/用例，分布在商业、教育、心理学和法律领域，以及5种交互风格（如休闲对话、正式文件、电子邮件等）。
• 关键事实:
  • 大小: 1360万文本标记，约209k示例，649k PII标记
  • 语言: 英语、法语、德语、意大利语
  • 数据生成: 使用专有算法生成的合成数据
  • 质量保证: 经过人机验证的高质量数据集

数据集使用示例

python from datasets import load_dataset dataset = load_dataset("ai4privacy/pii-masking-200k", data_files=["*.jsonl"])

或 python from datasets import load_dataset dataset = load_dataset("Isotonic/pii-masking-200k") # 使用 "language" 列

PII类别标记分布

• 平衡措施: 采取了措施平衡数据集中PII类别的标记分布。
• 图表: 显示了不同PII类别在数据集中的观察分布。
• 不平衡类别: 有一个类别（firstname）仍然在数据集中过度代表。

兼容的机器学习任务

• 标记分类: 使用HuggingFace的标记分类指南。
• 文本生成: 将unmasked_text映射到masked_text或privacy_mask属性。

数据行信息

• 每行: 表示一个包含自然语言文本的json对象，该文本包含PII的占位符。
• 示例行:
  • masked_text: 包含无PII的自然文本
  • unmasked_text: 显示包含PII的自然句子
  • privacy_mask: 指示隐私标记实例与自然文本中的字符串之间的映射
  • span_labels: 格式为[start, end, pii token instance]的数组
  • bio_labels: 遵循“开始”、“内部”和“外部”的常见表示法
  • tokenised_text: 使用Bert Family tokenizer将未屏蔽的句子分解为标记

数据集标签

• legal
• business
• psychology
• privacy