DialogTool

DialogTool是一个多轮对话数据集，旨在评估大型语言模型（LLM）在多轮交互中使用工具的能力。该数据集考虑了工具使用的整个生命周期，包括六个关键任务，分布在三个阶段：工具创建、工具利用和角色一致响应。数据集基于现有的任务导向对话数据集，通过将服务、领域、槽位和意图转换为不同的应用程序、参数和API，并模拟API调用，创建了一个虚拟的移动环境。DialogTool旨在解决现有基准测试主要关注无状态的单轮交互或部分评估的问题，并提供了对13种不同LLM的全面评估。DialogTool is a multi-turn dialogue dataset designed to evaluate the ability of large language models (LLMs) to utilize tools during multi-turn interactions. The dataset covers the entire lifecycle of tool usage, including six critical tasks distributed across three phases: tool creation, tool utilization, and role-consistent response generation. Built upon existing task-oriented dialogue datasets, DialogTool constructs a virtual mobile environment by converting services, domains, slots, and intents into distinct applications, parameters, and APIs, while simulating API invocations. DialogTool aims to address the limitations of existing benchmarks, which mostly focus on stateless single-turn interactions or partial evaluations, and enables comprehensive evaluations across 13 different LLMs.

原始信息汇总

数据集概述：Rethinking Stateful Tool Use in Multi-Turn Dialogues: Benchmarks and Challenges

基本信息

• 标题: Rethinking Stateful Tool Use in Multi-Turn Dialogues: Benchmarks and Challenges
• 作者: Hongru Wang, Wenyu Huang, Yufei Wang, Yuanhao Xi, Jianqiao Lu, Huan Zhang, Nan Hu, Zeming Liu, Jeff Z. Pan, Kam-Fai Wong
• 提交日期: 19 May 2025
• arXiv标识符: arXiv:2505.13328v1 [cs.CL]
• DOI: https://doi.org/10.48550/arXiv.2505.13328

数据集描述

• 数据集名称: DialogTool
• 特点: 多轮对话数据集，包含状态化工具交互，涵盖工具使用的整个生命周期。
• 关键任务:
  1. 工具创建
  2. 工具利用: 工具感知、工具选择、工具执行
  3. 角色一致响应: 响应生成和角色扮演

评估环境

• 名称: VirtualMobile
• 功能: 模拟API调用并评估创建API的鲁棒性。

评估内容

• 评估对象: 13种不同的开源和闭源LLM
• 主要发现: 现有最先进的LLM在长期工具使用方面表现不佳。

相关链接

• PDF链接: http://arxiv.org/pdf/2505.13328v1
• TeX源码: http://arxiv.org/format/2505.13328v1

搜集汇总

数据集介绍

构建方式

DialogTool数据集的构建基于现有任务导向对话数据集（TDD），通过将服务/领域、槽位和意图转化为不同的应用、参数和API，将对话中的数据库查询操作转化为标准化的API函数调用。具体步骤包括：1）从SGD和MultiWoZ等数据集中筛选种子数据；2）通过设置转换（Setting Shift）将任务导向对话的标注转化为工具学习的标签；3）通过角色扮演（Role Playing）为对话代理赋予不同角色，生成多样化的回应风格。此外，还构建了VirtualMobile虚拟环境，模拟API调用并验证生成工具的正确性。

特点

DialogTool数据集具有以下显著特点：1）涵盖多轮对话中的状态化工具使用全生命周期，包括工具创建、工具利用（工具感知、工具选择、工具执行）和角色一致回应（回应生成、角色扮演）三个阶段；2）包含16个应用和31个API，平均每个API有4.2个输入参数和7.5个返回参数，复杂度较高；3）支持多应用交互，训练集中50%的对话涉及多个应用；4）引入角色扮演机制，提供50种预定义角色配置，增强用户交互体验。

使用方法

DialogTool数据集的使用方法主要包括：1）工具创建：根据API描述生成可执行的Python代码函数，并通过测试用例验证其正确性；2）工具利用：包括工具感知（判断是否需要调用工具）、工具选择（从API列表中选择合适的API）和工具执行（填充所有必需参数并执行API）；3）角色一致回应：根据预定义角色配置生成风格化的系统回应。评估时可采用扁平化或分层策略选择API，并通过BLEU、Rouge.L等指标衡量生成回应的质量，同时使用GPT-4等模型评估角色一致性。

背景与挑战

背景概述

DialogTool是由香港中文大学、爱丁堡大学等机构的研究团队于2025年提出的多轮对话数据集，旨在解决语言模型在状态化工具使用方面的评估空白。该数据集创新性地构建了涵盖工具创建、工具利用（包括工具感知、工具选择、工具执行）和角色一致性响应（包括响应生成和角色扮演）三个阶段的完整生命周期评估框架，并配套开发了VirtualMobile虚拟移动环境来模拟API调用。作为首个关注多轮对话中状态化工具交互的基准测试，DialogTool通过重构任务导向对话数据集（如SGD和MultiWOZ），建立了包含16个应用、31个API的大规模评估体系，显著推动了对话系统与工具学习交叉领域的研究进展。

当前挑战

DialogTool面临的挑战主要体现在两个维度：在领域问题层面，现有语言模型难以处理长程对话中的状态维护问题，例如当用户跨多轮补充参数或查询历史工具调用结果时，模型需准确跟踪工具状态（实验显示GPT-4o在40轮对话后工具执行准确率降至35.3%）；在构建层面，数据转换存在API参数格式对齐的复杂性（如日期需统一为yyyy-mm-dd格式），且角色扮演改写需保持语义一致性而不改变原始对话逻辑。此外，虚拟环境的API实现需确保与真实工具调用的行为等价性，这对错误处理和状态同步机制提出了极高要求。

常用场景

经典使用场景

DialogTool数据集在多轮对话系统中评估语言模型作为语言代理的工具使用能力，特别是在状态保持的交互场景中。该数据集通过模拟真实世界中的多轮对话，涵盖了工具创建、工具利用（包括工具意识、工具选择和工具执行）以及角色一致响应等多个关键任务。其经典使用场景包括任务导向的对话系统，如餐厅预订、酒店查询和机票购买等，这些场景需要模型在多轮交互中保持对话状态并正确调用外部API。

实际应用

DialogTool在实际应用中可以用于开发智能客服、虚拟助手和任务导向的对话系统。例如，在智能客服中，模型可以通过调用外部API查询订单状态或修改预订信息；在虚拟助手中，模型可以协助用户完成复杂的多步骤任务，如旅行规划。此外，该数据集还可用于评估和优化现有对话系统的性能，特别是在处理多轮交互和状态保持方面的能力。

衍生相关工作

DialogTool的推出催生了一系列相关研究，特别是在工具学习和多轮对话系统领域。例如，基于DialogTool的研究可以探索如何优化语言模型在工具创建和选择中的表现，或者如何通过角色扮演提升对话系统的用户参与度。此外，该数据集还为开发新的评估基准和虚拟环境提供了参考，推动了语言代理在实际应用中的进一步发展。