five

FanChen0116/19100_chat_64x_slot_pvi

收藏
Hugging Face2024-01-09 更新2024-03-04 收录
下载链接:
https://hf-mirror.com/datasets/FanChen0116/19100_chat_64x_slot_pvi
下载链接
链接失效反馈
官方服务:
资源简介:
--- dataset_info: features: - name: id dtype: int64 - name: tokens sequence: string - name: labels sequence: class_label: names: '0': O '1': I-time '2': B-date '3': B-last_name '4': B-people '5': I-date '6': I-people '7': I-last_name '8': I-first_name '9': B-first_name '10': B-time - name: request_slot sequence: string splits: - name: train num_bytes: 379313 num_examples: 2080 - name: validation num_bytes: 5405 num_examples: 32 - name: test num_bytes: 646729 num_examples: 3731 download_size: 63213 dataset_size: 1031447 --- # Dataset Card for "19100_chat_64x_slot_pvi" [More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

数据集信息: 特征字段: - 名称:id,数据类型:int64 - 名称:tokens,类型为字符串序列 - 名称:labels,类型为序列,其类标签(class_label)采用BIO命名实体标注规范,映射关系如下: '0':O(非实体标记),'1':I-time(时间实体内部标记),'2':B-date(日期实体起始标记),'3':B-last_name(姓氏实体起始标记),'4':B-people(人物实体起始标记),'5':I-date(日期实体内部标记),'6':I-people(人物实体内部标记),'7':I-last_name(姓氏实体内部标记),'8':I-first_name(名字实体内部标记),'9':B-first_name(名字实体起始标记),'10':B-time(时间实体起始标记) - 名称:request_slot,类型为字符串序列 数据集划分: - 划分集:train(训练集),字节大小:379313,样本数量:2080 - 划分集:validation(验证集),字节大小:5405,样本数量:32 - 划分集:test(测试集),字节大小:646729,样本数量:3731 下载大小:63213 字节 总数据集大小:1031447 字节 --- # 「19100_chat_64x_slot_pvi」数据集卡片 [需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)
提供机构:
FanChen0116
原始信息汇总

数据集概述

数据集名称

  • 名称: 19100_chat_64x_slot_pvi

数据集特征

  • id: 整数类型 (int64)
  • tokens: 字符串序列
  • labels: 分类标签序列
    • 类别名称:
      • 0: O
      • 1: I-time
      • 2: B-date
      • 3: B-last_name
      • 4: B-people
      • 5: I-date
      • 6: I-people
      • 7: I-last_name
      • 8: I-first_name
      • 9: B-first_name
      • 10: B-time
  • request_slot: 字符串序列

数据集划分

  • 训练集:
    • 样本数: 2080
    • 存储大小: 379313字节
  • 验证集:
    • 样本数: 32
    • 存储大小: 5405字节
  • 测试集:
    • 样本数: 3731
    • 存储大小: 646729字节

数据集大小

  • 下载大小: 63213字节
  • 总大小: 1031447字节
搜集汇总
数据集介绍
main_image_url
构建方式
该数据集名为FanChen0116/19100_chat_64x_slot_pvi,专为对话系统中的槽位填充任务而设计。在构建过程中,数据来源于19100条真实或模拟的对话交互记录,每条样本均包含唯一的标识符、分词后的文本序列(tokens)以及对应的序列标签(labels),标签涵盖了时间、日期、姓氏、人名、名字等实体类型,采用BIO标注体系进行精细标记。此外,每个样本还附加了请求槽位(request_slot)信息,以明确对话中需要填充的槽位类型。数据集被划分为训练集(2080条)、验证集(32条)和测试集(3731条),确保模型评估的可靠性与泛化能力。
使用方法
使用该数据集时,推荐基于HuggingFace的datasets库进行加载,通过load_dataset('FanChen0116/19100_chat_64x_slot_pvi')即可获取。数据可直接用于训练序列标注模型(如BERT-CRF),其中tokens作为输入文本,labels作为训练目标。在预处理阶段,需将标签映射为数值索引,并注意BIO标签的连续性。由于数据包含train、validation和test三部分,建议在训练前对验证集进行微调,测试集用于最终评估。此外,request_slot字段可作为辅助特征输入,提升模型对槽位填充任务的针对性。对于中文对话场景,需确保分词工具与数据集的tokenization方式一致,以避免标签错位。
背景与挑战
背景概述
在自然语言处理领域,对话系统中的语义槽填充(Slot Filling)是实现精准意图识别与信息抽取的关键技术,其核心目标是从用户输入中提取预定义的实体信息,如时间、人名等。由FanChen0116团队于近期构建的19100_chat_64x_slot_pvi数据集,专注于面向中文对话场景的槽位标注任务,包含约5843个样本(训练集2080条、验证集32条、测试集3731条),覆盖了时间、日期、姓氏、名字、人物等10类实体标签。该数据集的提出填补了中文对话场景下多槽位联合标注的空白,其请求槽位(request_slot)设计更贴近真实人机交互中的信息补全需求,为构建面向任务型对话的序列标注模型提供了标准化评测基准,对推动中文对话理解研究具有重要参考价值。
当前挑战
该数据集面临的核心挑战包括:1)领域问题层面,中文对话中的实体边界模糊性(如“明天上午”可能同时包含日期与时间槽)、同义词或简称导致的标签歧义(如“小李”的姓氏与名字分离),以及多轮对话中上下文依赖的槽位继承关系,均对模型的长距离语义建模能力提出严苛要求;2)构建过程中,数据标注面临类别不平衡问题(如“O”标签占比远超实体标签),且注释者需严格区分“B-”与“I-”前缀标签的序列约束,人工标注一致性难以保障;此外,验证集仅32条样本的规模可能限制模型调优的可靠性,测试集与训练集的分布差异(如测试集样本数3731远超训练集2080)则加剧了过拟合风险。
常用场景
经典使用场景
该数据集专为中文对话系统中的命名实体识别与槽位填充任务而设计,聚焦于人物、时间、日期等关键信息要素的提取。其核心应用场景在于构建智能客服、任务型对话机器人等交互系统,通过精准识别用户话语中的实体边界与类别,例如区分姓氏与名字、时间与日期等细粒度槽位,从而支撑后续的意图理解与信息抽取。数据集采用BIO标注体系,覆盖了10种实体标签,为序列标注模型提供了高质量的训练语料。
解决学术问题
在学术研究中,该数据集主要解决了中文对话场景下多粒度实体识别与槽位联合建模的挑战。传统命名实体识别多聚焦于新闻或正式文本,而该数据聚焦于口语化、短文本的对话语境,有助于探索非规范表达中实体边界的模糊性问题。此外,通过引入请求槽位(request_slot)信息,为研究对话状态跟踪中的槽位填充与实体识别的协同机制提供了基准数据,推动了自然语言理解中多任务学习的理论发展。
实际应用
实际应用中,该数据集可赋能金融、医疗、政务等领域的智能客服系统,例如在预约挂号场景中自动提取患者姓名、就诊时间及日期,或在银行咨询中精准识别客户身份信息与业务办理时间。通过训练高精度的实体识别模型,能够显著降低人工标注成本,提升对话系统的响应准确率与用户体验。同时,其细粒度的姓氏与名字分类能力,在身份核验、客户关系管理等场景中具有独特价值。
数据集最近研究
最新研究方向
在自然语言处理领域,命名实体识别与槽位填充技术正日益成为构建智能对话系统的核心基石。FanChen0116/19100_chat_64x_slot_pvi数据集聚焦于中文对话场景中的细粒度信息抽取,其标签体系覆盖时间、日期、人名等关键实体类别,并引入请求槽位(request_slot)概念,精准对应任务型对话中用户意图与系统应答的交互需求。当前前沿研究方向包括基于预训练语言模型(如BERT、RoBERTa)的端到端槽位填充与意图联合建模,以及利用提示学习(Prompt Learning)增强少样本场景下的实体识别泛化能力。该数据集为多轮对话中的局部信息追踪与全局状态更新提供了标准化评测基准,其设计紧密关联智能客服、语音助手等热点应用,推动对话系统从简单匹配向语义理解跃迁,对提升人机交互的鲁棒性与实用性具有显著意义。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务