manu/pii-masking

---
dataset_info:
features:
- name: masked_text
dtype: string
- name: unmasked_text
dtype: string
- name: privacy_mask
dtype: string
- name: span_labels
dtype: string
- name: bio_labels
sequence: string
- name: tokenised_text
sequence: string
- name: conversations
list:
- name: from
dtype: string
- name: value
dtype: string
splits:
- name: train
num_bytes: 207911278
num_examples: 105459
download_size: 70218813
dataset_size: 207911278
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

数据集信息：
特征字段：
- 名称：掩码文本（masked_text），数据类型：字符串
- 名称：原文本（unmasked_text），数据类型：字符串
- 名称：隐私掩码（privacy_mask），数据类型：字符串
- 名称：跨度标签（span_labels），数据类型：字符串
- 名称：BIO标签（bio_labels），数据类型：字符串序列
- 名称：分词后文本（tokenised_text），数据类型：字符串序列
- 名称：对话（conversations），列表类型，其子字段包括：
- 名称：发言方（from），数据类型：字符串
- 名称：对话内容（value），数据类型：字符串
数据划分：
- 划分名称：训练集（train），字节数：207911278，样本数量：105459
下载体积：70218813，数据集存储体积：207911278
配置项：
- 配置名称：默认配置（default），数据文件：
- 对应训练划分：路径为data/train-*

原始信息汇总

数据集概述

数据特征

• masked_text: 数据类型为字符串。
• unmasked_text: 数据类型为字符串。
• privacy_mask: 数据类型为字符串。
• span_labels: 数据类型为字符串。
• bio_labels: 数据类型为字符串序列。
• tokenised_text: 数据类型为字符串序列。
• conversations: 包含以下字段：
  • from: 数据类型为字符串。
  • value: 数据类型为字符串。

数据分割

• train: 包含207,911,278字节，105,459个样本。

数据集大小

• 下载大小: 70,218,813字节。
• 数据集大小: 207,911,278字节。

配置

• default: 包含训练数据文件，路径为data/train-*。

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，隐私保护已成为数据共享与模型训练中的关键挑战。manu/pii-masking数据集专为个人可识别信息（PII）的脱敏与标注任务而构建，其设计围绕对话文本中的隐私敏感内容展开。该数据集包含105459条训练样本，每条样本由原始未脱敏文本（unmasked_text）与经过隐私掩码处理的文本（masked_text）成对构成。构建过程中，系统性地对对话中的姓名、地址、电话号码等PII实体进行替换，并生成对应的隐私掩码标记（privacy_mask）与细粒度的序列标注信息，包括基于BIO标注体系的实体边界标签（bio_labels）和经过分词处理的文本序列（tokenised_text）。此外，每条样本保留了完整的对话结构，以“from”和“value”字段记录发言角色与内容，确保脱敏过程不破坏对话的语义连贯性。

特点

该数据集的核心特色在于其多层次的标注体系与对话场景的针对性设计。首先，它同时提供了脱敏前后的文本对，支持有监督的PII掩码生成与还原任务，为隐私保护模型的训练提供了直接的监督信号。其次，privacy_mask字段以字符串形式明确标识了哪些部分被掩码，而span_labels与bio_labels则提供了从连续文本到序列标签的两种不同粒度的PII定位信息，适配从序列标注到跨度检测等多种模型架构。此外，数据以对话形式组织，每条样本包含多轮交互，这使其区别于单句级别的PII数据集，更能反映真实场景中隐私信息在上下文中的分布规律。整体而言，该数据集兼顾了隐私保护的实用性与标注的学术严谨性。

使用方法

在具体使用中，该数据集可灵活服务于多个下游任务。对于PII掩码生成任务，研究者可直接使用masked_text作为输入、unmasked_text作为目标，训练序列到序列模型实现脱敏还原。对于PII实体识别任务，可利用bio_labels或span_labels作为标注目标，训练序列标注模型以定位文本中的隐私实体。数据以HuggingFace Datasets库的标准格式存储，通过load_dataset('manu/pii-masking')即可加载，并自动划分为训练集。由于每条样本保留了完整的对话结构，用户还可进一步将对话历史作为上下文特征，构建更复杂的上下文感知隐私检测模型。建议在使用前对tokenised_text字段进行分词对齐检查，确保标签与输入序列的长度一致性。

背景与挑战

背景概述

在自然语言处理领域，个人身份信息（PII）的泄露已成为数据安全与隐私保护的核心挑战之一。manu/pii-masking数据集由研究团队于近年创建，旨在为文本中的PII检测与掩码任务提供标准化基准。该数据集聚焦于从对话、文档等非结构化文本中识别并匿名化敏感信息，如姓名、地址、电话号码等，其核心研究问题在于如何平衡隐私保护强度与文本语义完整性。通过提供超过10万条训练样本及丰富的标注字段（包括掩码标签、序列标注等），该数据集为开发高精度PII识别模型奠定了重要基础，对推动隐私合规的AI系统发展具有显著影响力。

当前挑战

该数据集面临的核心挑战包括：首先，PII的多样性（如不同文化背景下的姓名格式）导致模型泛化困难，传统规则方法难以覆盖所有变体；其次，构建过程中需人工标注大量敏感文本，标注一致性难以保障，且跨领域数据（如医疗与法律文本）的PII表现形式差异显著；此外，如何在掩码后保持文本的语法连贯性与上下文信息，避免破坏下游任务性能，仍是亟待解决的难题。这些挑战不仅涉及算法鲁棒性，更关乎数据伦理与合规性，对隐私保护技术的实际落地构成重要制约。

常用场景

经典使用场景

在自然语言处理与隐私计算交叉领域，manu/pii-masking数据集为识别与脱敏个人可识别信息（PII）提供了核心基准资源。该数据集包含超过十万条标注了掩码文本、原始文本及细粒度隐私标签的对话样本，广泛应用于训练基于Transformer架构的PII检测模型，例如用于金融、医疗场景中的敏感信息自动遮蔽任务。研究者通过其提供的token级别生物标签（bio_labels）与跨度标签（span_labels），可精准评估模型对姓名、身份证号、地址等实体类型的识别能力，成为隐私保护预训练与微调的标准测试平台。

实际应用

在实际产业落地中，该数据集被用于构建客服系统与社交平台的实时PII过滤管道。企业利用其训练的模型可在用户输入阶段自动检测并替换信用卡号、电话号码等敏感信息，避免数据泄露引发的合规风险。此外，医疗病历匿名化、法律文书脱敏等场景中，该数据集提供的对话级上下文信息使脱敏模型能够区分同形异义的实体（如“华盛顿”作为地名与人名），显著提升了脱敏后的语义保真度，降低了因过度脱敏导致的信息损失。

衍生相关工作

基于该数据集衍生出一系列标志性工作，包括基于对比学习的PII表示学习框架、融合差分隐私的脱敏生成模型，以及评估脱敏后文本可用性的多维指标集（如隐私-效用帕累托前沿）。部分研究进一步扩展其标注体系至多语言场景，构建了跨语种的PII检测迁移学习基线。此外，该数据集催生了面向大语言模型（LLM）的隐私遗忘（Unlearning）评估任务，成为检验模型能否在微调后遗忘训练语料中特定PII的权威测试集。