遇见数据集

Blended Skill BotsTalk (BSBT)

收藏
arXiv2022-10-23 更新2024-06-21 收录
官方服务:

资源简介:

BSBT数据集是由延世大学人工智能系开发的,包含30万条对话,旨在通过多技能对话训练提升聊天机器人的沟通能力。数据集通过BOTSTALK框架自动生成,结合了来自Convai2、WoW和ED等多个数据源的技能,支持聊天机器人在对话中展示多种技能,如个性、知识和同理心。BSBT数据集不仅支持技能融合,也保持了特定技能的深度,适用于开发能够灵活应对不同用户和情境的聊天机器人。

The BSBT dataset was developed by the Department of Artificial Intelligence at Yonsei University, consisting of 300,000 dialogues. It is designed to enhance the communication capabilities of chatbots through multi-skill dialogue training. The dataset is automatically generated via the BOTSTALK framework, which integrates skills from multiple data sources including Convai2, WoW, and ED, enabling chatbots to demonstrate diverse skills such as personality expression, knowledge application, and empathy. The BSBT dataset not only supports skill fusion but also maintains the depth of individual skills, making it suitable for developing chatbots that can flexibly respond to different users and scenarios.

创建时间:
2022-10-23
搜集汇总
数据集介绍
Blended Skill BotsTalk (BSBT) 数据集图片
构建方式
在开放域对话系统的研究进程中,如何赋予聊天机器人融合多种沟通技能的能力成为关键挑战。为此,研究者提出了一种名为BOTSTALK的自动化框架,通过让多个分别专精于不同单一技能的对话智能体参与对话,自动生成多技能融合的对话数据集。具体而言,该框架首先从ConvAI2、Wizard of Wikipedia和Empathetic Dialogues三个单技能数据集中抽取种子对话作为起点,并利用TF-IDF检索为每个技能匹配最相关的上下文。随后,各个技能智能体基于自身上下文生成候选回复,而一个仲裁智能体则通过自然语言推理(NLI)检查回复与所有技能上下文的一致性,过滤掉矛盾内容。最后,活跃的技能智能体使用排序模型从候选回复中选出最优者,仲裁智能体再通过KL散度评估技能分布的平滑过渡,决定是否切换发言权,从而迭代生成融合个性、知识与共情能力的多轮对话。
特点
该数据集最为突出的特质在于其规模化与自动化带来的高效性,包含30万段对话、总计300万条 utterance,远超以往依赖众包构建的同类基准(如仅有5千段对话的BST)。在技能分布上,数据集展现出均衡的多样性:个性、知识与共情三类技能的标注比例分别约为36%、32%和32%,且超过90%的对话在同一轮交流中至少融合了两种技能,充分体现了技能混合的自然性。此外,通过分析相邻语句的技能类型,超过半数的后续回复延续了前序语句的技能,确保了技能锚定的连续性。人工评估表明,该数据集在引人入胜、趣味性和人性化三个维度上均获得了与BST相当甚至略优的偏好率,验证了机器生成对话的质量可与众包数据媲美。
使用方法
该数据集的核心用途在于训练和评估多技能融合的开放域对话系统。研究者通常采用检索式或生成式模型进行实验:以预训练的Poly-Encoder或BART作为基础架构,在BSBT数据集上进行微调,然后在标准的多技能基准(如BST测试集)上评估模型在技能混合与技能锚定方面的表现。实验表明,使用BSBT训练的模型在Recall@1、MRR和BLEU等自动指标上均优于仅使用单技能数据集或较小规模多技能数据集的模型。此外,该数据集还可与多任务学习策略正交结合,通过在单技能数据集上先进行多任务微调、再顺序使用BSBT进行二次训练,进一步提升性能。数据集的规模效应显著,随着使用数据量的增加(从1万到30万段对话),模型性能持续提升,凸显了大规模数据对构建多技能聊天机器人的重要性。
背景与挑战
背景概述
在开放域对话系统的研究进程中,构建能够无缝融合多种交际技能(如个性化、知识性与共情能力)的对话智能体已成为核心挑战之一。Blended Skill BotsTalk (BSBT) 数据集由延世大学与首尔大学的研究团队于2022年提出,旨在突破传统单技能对话数据集的局限,解决多技能对话数据规模不足与人工标注成本高昂的瓶颈。该数据集基于BOTSTALK自动化框架,通过多个单技能对话代理模拟多轮对话,自动生成了包含30万段对话、300万条话语的大规模语料库,覆盖个性、知识与共情三类核心技能。BSBT的提出为多技能对话系统的训练提供了可扩展的优质资源,在自动评估与人工评测中均展现出优于现有基准的性能,显著推动了开放域对话系统向技能融合方向的发展。
当前挑战
BSBT数据集所面临的核心挑战体现在两个层面。领域层面,多技能对话系统需同时满足技能融合(在对话中自然切换不同技能)与技能锚定(在适当时刻维持特定技能)的双重要求,二者之间存在固有的权衡关系,如何在有限对话轮次中平衡两者成为关键难题。构建层面,自动化框架面临三大挑战:一是对话一致性维护,单技能代理因无法访问全局技能上下文,约50%的生成话语存在语义矛盾,需借助自然语言推理模块进行筛选;二是技能转移的自然性控制,需通过KL散度阈值调节技能分布,避免生硬切换;三是固定对话长度导致的冗余问题,约3%的对话出现重复问候等非自然终止现象,影响数据质量。
常用场景
经典使用场景
在开放域对话系统的研究领域,多技能融合对话数据集BSBT(Blended Skill BotsTalk)被广泛用于训练和评估能够无缝整合个性、知识与共情等多种沟通技能的聊天机器人。该数据集通过机器自动生成300K段对话,每段对话均标注了技能类型与分布,为模型提供了大规模、多技能交织的训练样本。研究者利用BSBT微调检索式或生成式对话模型,使其在单一对话中既能展现个性化表达、又能引用知识并体现共情,从而提升对话的自然性与丰富度。
实际应用
在实际应用中,BSBT数据集为构建更智能、更人性化的开放域聊天机器人提供了坚实基础。例如,在客服场景中,机器人可结合用户历史信息(个性技能)、产品知识(知识技能)与情绪识别(共情技能)生成恰当回复;在虚拟伴侣或教育助手中,模型能根据对话语境自然切换闲聊、知识科普与情感支持,提升用户粘性与满意度。BSBT的机器生成特性也降低了企业部署多技能对话系统的数据成本,加速了商业化落地。
衍生相关工作
BSBT数据集衍生了一系列经典工作,包括多任务学习与技能融合的改进研究。例如,Shuster等人提出的dodecaDialogue模型在多技能任务上表现突出,而Roller等人基于多任务微调策略进一步优化了BSBT上的性能。此外,研究者利用BSBT探索了技能分类器与对话一致性检测(如NLI)的结合,推动了自动数据标注框架的发展。这些工作共同证明了BSBT作为大规模多技能对话训练资源的有效性,并为后续研究如动态技能切换与对话终止条件建模奠定了基础。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务