ali5341/pubmedqa-chat-format

PubMedQA（聊天格式准备）数据集是基于qiaojin/PubMedQA原始数据集的聊天格式预处理版本，专为生物医学问答的监督微调（SFT）设计。该数据集包含训练集、验证集和统计文件，以及一个预处理脚本。原始数据集专注于生物医学研究问答，答案类型为yes/no/maybe，并基于摘要进行决策。预处理过程中采用了标签优先策略，确保监督数据的清洁性，并过滤了无效的最终决策行。数据集的格式为OpenAI风格的messages格式，每条记录包含用户指令、问题和上下文，以及助手的回答和元数据。

PubMedQA (Chat-Format Preparation) is a chat-format preparation of the original qiaojin/PubMedQA dataset for biomedical QA supervised fine-tuning (SFT). The dataset includes training and validation sets, a stats file, and a preparation script. The original dataset focuses on biomedical research QA with yes/no/maybe decisions based on abstracts. The preparation process follows a labeled-first policy for cleaner supervision and filters rows without valid final decisions. The dataset is formatted in the OpenAI-style messages format, with each record containing user instructions, questions, and context, along with assistant responses and metadata.

搜集汇总

数据集介绍

构建方式

该数据集源自PubMedQA原始语料，经过精细的对话格式重铸，旨在服务于生物医学领域的指令微调任务。构建过程中严格遵循标签优先原则，首先从pqa_labeled子集中划分出验证集，随后将标注数据与从pqa_artificial子集中按0.2比例采样的样本混合形成训练集。所有不含明确最终决策（yes/no/maybe）的行均被过滤剔除。上下文信息从摘要的多个段落中提取，并保留相应的段落标签，确保语义完整。最终，每条数据被转化为包含用户指令、问题与上下文，以及助手回答（包含推理过程与最终决策或仅决策）的多轮对话格式，并附带元信息记录来源与属性。

特点

本数据集的核心特色在于其对话格式的结构化设计，完美契合当前大语言模型微调的主流范式。每条记录均以OpenAI风格的messages形式组织，包含明确的用户与助手角色分工。助手响应提供两种模式：默认模式同时输出推理过程和最终答案，简洁模式则仅输出最终决策。数据集兼具规模与质量，训练集混合了真实标注与人工合成样本，验证集纯由真实标注构成，确保了监督信号的可靠性。此外，丰富的元信息字段（如子集来源、原始问题ID、上下文段落数等）为后续分析筛选提供了便利。

使用方法

使用本数据集时，可直接加载JSONL格式的训练与验证文件，用于生物医学问答模型的指令微调。开发者可根据需求调整构建脚本中的参数，例如通过设置artificial-fraction为0.0以仅使用标注样本，或通过answer-mode切换助手响应格式。建议将数据按序列填充至统一长度，并采用标准的多轮对话损失屏蔽策略。对于需要推理能力评估的场景，推荐使用默认模式；对于仅需分类输出的场景，简洁模式更为高效。数据集的元信息还可用于分层采样或子集验证等进阶操作。

背景与挑战

背景概述

在生物医学领域，从海量文献中精准提取研究问题的答案是一项极具价值的挑战。为应对这一需求，PubMedQA数据集于2019年由Qiao Jin等研究人员提出，旨在构建一个以PubMed摘要为基础的生物医学研究问答数据集。该数据集推动系统在给定论文摘要与研究问题的前提下，输出“是/否/可能”的判定，成为该领域的重要基准。在此基础上，pubmedqa-chat-format将原始PubMedQA数据转化为适用于指令微调的多轮对话格式，为大型语言模型在生物医学领域的对齐训练提供了高质量的监督数据，显著增强了模型的泛化能力与交互表现。

当前挑战

该数据集所解决的领域核心挑战在于：生物医学研究中问答系统需从专业且高度抽象的论文摘要中推断出精准的结论，区别于通用问答任务，其答案空间虽局限于三元分类，但对推理逻辑和领域知识要求极高。在构建过程中，pubmedqa-chat-format面临标签一致性、数据平衡及格式适配的挑战。原始数据含有标签噪声，必须严格过滤无合法决策的样本；同时，人工标注数据稀缺，需以标签优先策略采样人工合成样本来扩充训练集；此外，将抽象段落构建为结构化上下文并设计契合对话模板的回复模式，也增加了数据处理的复杂性。

常用场景

经典使用场景

在生物医学自然语言处理领域，基于大规模科学文献构建的问答系统正成为知识获取的重要桥梁。PubMedQA Chat-Format数据集专为指令微调与对话式问答场景而设计，它将原始PubMedQA中的结构化问答对转化为符合OpenAI messages格式的对话形式，为大型语言模型提供高质量的监督训练材料。该数据集最经典的使用场景是作为生物医学领域问答系统的微调基准，帮助模型学会从文献摘要中抽取关键证据，并生成包含推理路径的“理由+决策”（rationale_plus_decision）式回答，从而在yes/no/maybe三分类任务上提升模型的科学论证能力。

衍生相关工作

围绕PubMedQA Chat-Format衍生出的相关研究工作广泛涉及生物医学领域的模型评估与大规模语料构建策略。一方面，该数据集被广泛应用于各类指令微调框架的消融实验中，研究者通过调整人工标注与自动生成样本的比例，深入探讨了监督信号质量对模型科学问答性能的影响。另一方面，基于其对话格式的设计理念，后续工作如BioMedLM和PubMedBERT等模型在微调过程中采用了类似的上下文增强与理由生成方案，以提升生物医学文本的理解深度。此外，该数据集也催生了面向多模态生物医学问答的数据构建范式，推动了从单一文本推理向证据链推理的学术跨越。

数据集最近研究

最新研究方向

生物医学问答大模型指令微调数据的专项优化。该数据集将经典PubMedQA语料重构为Chat-Format，适配对话式监督微调（SFT）需求，标志着生物医学领域知识推理正从传统分类任务向大语言模型（LLM）的指令遵循范式迁移。研究前沿聚焦于如何通过标签优先策略与人工子集采样提升模型在Yes/No/Maybe三分类决策上的合理性与可解释性，尤其关注决策加推理链（Rationale+Decision）的输出形式，这与近期涌现的可解释医学AI热潮高度联动。数据集的发布推动了生物医学知识库与Chat-style大模型的深层次融合，例如在临床文献速读与辅助诊断推理场景中，模型需同时具备事实检索与证据支撑能力，而这种格式化的训练数据正是关键基础设施。