mts-rl-training-data

MTS-Dialog RL 训练数据集是一个专门为医疗对话场景中的患者模拟任务构建的数据集，旨在支持强化学习训练。数据集包含多个配置，主要涵盖三种类型的数据：1) 事实提取数据（facts）：包含基于 3-seed 的患者事实提取内容，用于构建对话背景。2) 偏好优化数据：包括 KTO（Kahneman-Tversky Optimization）格式的偏好对（正例与由不同模型生成的负例组合）和 DPO（Direct Preference Optimization）格式的选择/拒绝对话对，这些负例或拒绝响应由多种模型生成，如 Qwen 3.5-4B、基础 Qwen 模型、SFT1 LoRa 和 miquel_final_sft。3) 监督微调数据（sft2）：仅包含正例（gold）响应，结合了新提示和事实信息。数据集以 JSONL 格式组织，每个配置都提供了训练集、验证集和两个测试集（test1, test2）的划分，具体规模如表格所示（例如，facts 配置有 1200/100/200/200 行，kto 配置有 10658/764/1602/1824 行）。该数据集适用于医疗对话系统的强化学习训练、偏好对齐、对话生成和患者模拟等任务。

原始信息汇总

数据集概述

• 数据集名称: MTS-Dialog RL Training Data
• 用途: 用于MTS-Dialog患者模拟的KTO/DPO/事实提取训练数据
• 数据生成: 事实部分由Kimi K2.6生成，负样本由Qwen 3.5-4B / miquel_final_sft生成

数据集配置与内容

数据集包含多个配置（config），每个配置对应不同的训练或评估数据，均分为train、validation、test1、test2四个数据划分。具体如下：

配置名称	数据内容	行数（train / validation / test1 / test2）
facts	3-seed患者事实提取	1200 / 100 / 200 / 200
kto	KTO对（gold + Qwen3.5-4B负样本）	10658 / 764 / 1602 / 1824
kto_base	KTO对（gold + base Qwen负样本，pre-remap fix）	10658 / 764 / 1602 / 1824
kto_sft1	KTO对（gold + SFT1 LoRa负样本）	与kto相同
kto_sft2	KTO对（gold + miquel_final_sft负样本）	与kto相同
dpo	DPO chosen/rejected（Qwen3.5-4B作为rejected）	5329 / 382 / 801 / 912
dpo_base	DPO chosen/rejected（base Qwen作为rejected，pre-remap fix）	5329 / 382 / 801 / 912
dpo_sft1	DPO chosen/rejected（SFT1 LoRa作为rejected）	与dpo相同
dpo_sft2	DPO chosen/rejected（miquel_final_sft作为rejected）	与dpo相同
sft2	仅gold的SFT数据（新prompt + 事实）	5329 / 382 / 801 / 912

数据文件格式

所有数据文件均为JSONL格式。各配置对应的数据文件路径如下（基于Hugging Face仓库结构）：

• facts: facts/train_all_facts.jsonl, facts/validation_all_facts.jsonl, facts/test1_all_facts.jsonl, facts/test2_all_facts.jsonl
• kto: kto/train_kto_chat_format.jsonl, kto/validation_kto_chat_format.jsonl, kto/test1_kto_chat_format.jsonl, kto/test2_kto_chat_format.jsonl
• kto_base: kto_base/train_kto_chat_format.jsonl, kto_base/validation_kto_chat_format.jsonl, kto_base/test1_kto_chat_format.jsonl, kto_base/test2_kto_chat_format.jsonl
• kto_sft1: kto_sft1/train_kto_chat_format.jsonl, kto_sft1/validation_kto_chat_format.jsonl, kto_sft1/test1_kto_chat_format.jsonl, kto_sft1/test2_kto_chat_format.jsonl
• kto_sft2: kto_sft2/train_kto_chat_format.jsonl, kto_sft2/validation_kto_chat_format.jsonl, kto_sft2/test1_kto_chat_format.jsonl, kto_sft2/test2_kto_chat_format.jsonl
• dpo: dpo/train_dpo_chat_format.jsonl, dpo/validation_dpo_chat_format.jsonl, dpo/test1_dpo_chat_format.jsonl, dpo/test2_dpo_chat_format.jsonl
• dpo_base: dpo_base/train_dpo_chat_format.jsonl, dpo_base/validation_dpo_chat_format.jsonl, dpo_base/test1_dpo_chat_format.jsonl, dpo_base/test2_dpo_chat_format.jsonl
• dpo_sft1: dpo_sft1/train_dpo_chat_format.jsonl, dpo_sft1/validation_dpo_chat_format.jsonl, dpo_sft1/test1_dpo_chat_format.jsonl, dpo_sft1/test2_dpo_chat_format.jsonl
• dpo_sft2: dpo_sft2/train_dpo_chat_format.jsonl, dpo_sft2/validation_dpo_chat_format.jsonl, dpo_sft2/test1_dpo_chat_format.jsonl, dpo_sft2/test2_dpo_chat_format.jsonl
• sft2: viewer/sft2/train_sft2_chat_format.jsonl, viewer/sft2/validation_sft2_chat_format.jsonl, viewer/sft2/test1_sft2_chat_format.jsonl, viewer/sft2/test2_sft2_chat_format.jsonl

搜集汇总

数据集介绍

构建方式

该数据集基于MTS-Dialog医患对话模拟场景构建，旨在为强化学习训练提供多元化数据支撑。构建流程分为两个阶段：首先利用Kimi K2.6模型从种子患者档案中提取结构化事实信息，生成facts子集；随后以Qwen 3.5-4B及系列微调模型（如miquel_final_sft）作为负样本生成器，与标准回复配对，形成KTO（KL散度优化）与DPO（直接偏好优化）两组偏好学习数据。每个子集均包含训练、验证及两个测试划分，数据格式统一为JSONL，便于下游处理。

特点

数据集最显著的特征在于其多维度、层次化的结构设计。共有十个配置子集，涵盖事实提取（facts）、监督微调（sft2）以及三种偏好优化范式——KTO与DPO，每种范式又衍生出基于不同负样本来源的变体（base、sft1、sft2），便于对比分析不同生成策略对模型对齐效果的影响。数据量方面，训练集规模从千余条到万余条不等，测试集则维持200至1800条左右，兼顾了训练充分性与评估可靠性。

使用方法

使用者可通过HuggingFace Datasets库按配置名称加载指定子集，例如`load_dataset('mts-rl-training-data', 'dpo')`获取DPO数据。每个样本已封装为对话格式（chat_format），可直接用于KTO或DPO训练管线。建议根据研究目标选择对应子集：偏好对齐实验可优先选用dpo或kto系列，事实理解任务则使用facts子集，而sft2适合作为监督微调的基线数据。测试集分为test1与test2两个版本，便于进行多轮验证。

背景与挑战

背景概述

mts-rl-training-data数据集由研究者基于MTS-Dialog医疗对话模拟平台构建，旨在通过强化学习技术提升患者模拟对话的真实性与一致性。该数据集于近期创建，核心研究问题聚焦于如何利用KTO、DPO及事实提取方法训练对话模型，使其能够生成更符合医疗场景的交互文本。其影响力体现在为医疗对话系统的可控性训练提供了标准化数据资源，尤其是通过多配置设计（如kto、dpo、sft2）支撑不同强化学习策略的对比研究，为患者模拟领域的数据驱动方法树立了新的基准。

当前挑战

数据集解决的领域问题包括医疗对话生成中的事实一致性与对话合理性挑战，具体需确保模拟患者对病史、症状等关键信息的陈述不偏离预设事实。构建过程中面临的挑战在于负样本的生成：需从不同模型（如Qwen3.5-4B、miquel_final_sft）中筛选出具有真实对话偏离特征的负面示例，同时平衡各配置下的正负样本比例，以避免引入偏差。此外，数据规模的控制（如facts配置仅含1200条训练样本）与多任务格式的统一（KTO、DPO、SFT）也对标注质量和流程协调提出了严格要求。

常用场景

经典使用场景

在医疗对话系统研究领域，mts-rl-training-data数据集的核心用途在于训练和评估面向患者的模拟对话模型。该数据集包含了从患者事实抽取、监督微调数据到偏好对齐数据的多层次结构，尤其适用于基于强化学习的人类反馈（RLHF）范式。其中，KTO和DPO配置分别提供了基于金标准与不同模型生成的负样本配对数据，使得研究者能够利用直接偏好优化或 Kahneman-Tversky 优化算法来微调语言模型，使其生成的对话更贴近真实医疗场景中的专家行为。此外，事实抽取子集为构建具备可靠背景知识的对话系统提供了基础，支持模型学习从患者描述中提取结构化信息的能力。

实际应用

在实际应用中，mts-rl-training-data数据集可直接赋能医疗咨询模拟器的开发，用于医学教育中对医学生沟通技巧的训练。医疗培训机构可利用基于该数据微调的对话模型，创建高保真的标准化病人模拟场景，使学习者能够在安全、可重复的环境中练习病史采集与医患沟通。此外，该数据集也能支撑智能问诊系统的研发，帮助实现在真实临床部署前对模型进行安全性验证——通过偏好对齐降低潜在误导性输出的风险，提升用户对人工智能辅助医疗工具的信任度。对于慢性病管理或术后随访等长期交互场景，利用事实抽取能力维持患者状态记忆的模型更具实用价值。

衍生相关工作

围绕mts-rl-training-data数据集衍生出的经典工作聚焦于医疗对话中的偏好对齐策略与数据效率优化。研究者基于该数据集中的多版本负样本配置，对比了DPO与KTO算法在医疗场景下的收敛速度与鲁棒性差异，证实了引入模型自身渐进式优化产生的负样本可提升对齐质量。另有工作利用sft2子集作为种子数据，探索了通过自生成偏好数据实现自动课程学习的路径，揭示了结合事实抽取与强化学习能够有效对抗AI在诊断建议中的自信偏见。这些衍生研究不仅验证了数据集设计的有效性，更推动了医疗大语言模型从单一知识问答向具备上下文感知与安全意识的综合任务理解能力的演进。