claude-opus-4.6-merged

Claude Opus 4.6合并SFT数据集是一个经过合并和去重的蒸馏数据集，来源于3个社区数据集。该数据集专门用于使用OpenAI聊天格式对Qwen3等模型进行监督微调(SFT)。数据集原始包含35,619条记录，经过基于首用户回合的MD5哈希值（小写且空格标准化）去重后保留17,260条。数据包含5个字段：系统提示(system)、用户输入(user)、助手回复(assistant)、数据来源(source)和生成模型(model)。数据经过严格的质量过滤，包括移除空响应、去重、检查助手回复有效性等处理。数据集特别适用于需要高质量对话数据进行模型微调的研究和应用场景。

Claude Opus 4.6 Merged SFT Dataset is a merged and deduplicated distilled dataset derived from three community datasets. This dataset is specifically designed for supervised fine-tuning (SFT) of models such as Qwen3 using the OpenAI chat format. The original dataset contains 35,619 records, and 17,260 records are retained after deduplication based on the MD5 hash values of the first user turn with lowercase conversion and space normalization applied. The dataset includes five fields: system prompt (system), user input (user), assistant reply (assistant), data source (source), and generation model (model). Strict quality filtering has been applied to the data, including removing empty responses, deduplication, and verifying the validity of assistant replies. This dataset is particularly suitable for research and application scenarios requiring high-quality dialogue data for model fine-tuning.

原始信息汇总

数据集概述

Claude Opus 4.6 — Merged SFT Dataset 是一个经过合并和去重的蒸馏数据集，来源于三个社区数据集，适用于使用 OpenAI 聊天格式的模型（如 Qwen3）进行监督微调（SFT）。

数据集统计

阶段	行数
合并前（去重前）	35,619
去重后	17,260
最终上传	17,260

去重依据：首个用户轮次的 MD5 哈希值（小写化、空白标准化）。

数据模式

列名	类型	描述
system	字符串	系统提示（若为空则为空字符串）
user	字符串	首个用户轮次
assistant	字符串	首个助手轮次（可能包含 <think> 块）
source	字符串	来源数据集标签
model	字符串	生成响应的 Claude 模型（claude-opus-4-6）

数据来源

数据集	加载行数	过滤后行数	最终行数	过滤条件/说明
Kassadin88/Claude-Distills	144,352	12,337	12,307	仅保留 opus-4.6 来源行，丢弃 sonnet/4.5 行
LEGENDQ/Claude-Opus-4.6-Reasoning-Dataset	2,326	2,308	289	将 problem/thinking/solution 模式标准化为聊天格式
angrygiraffe/claude-opus-4.6-4.7-reasoning-8.7k	38,504	20,974	4,664	过滤为 model == claude-opus-4-6，移除 <think> 占位符行

质量过滤

• 移除空或 null 响应
• 按标准化后的首个用户轮次哈希去重
• 检查助手轮次：去除 <think> 块后响应必须非空
• 丢弃 <think> 占位符行（... 或 …）

使用示例

python from datasets import load_dataset

ds = load_dataset("someoneatemylastsliceofpizza/claude-opus-4.6-merged", split="train") print(ds[0])

{system: ..., user: ..., assistant: ..., source: ..., model: claude-opus-4-6}

Qwen3 SFT 示例

python import json from datasets import load_dataset from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen3-4B")

def format_row(row): msgs = [] if row["system"]: msgs.append({"role": "system", "content": row["system"]}) msgs.append( {"role": "user", "content": row["user"]}) msgs.append( {"role": "assistant", "content": row["assistant"]}) return {"text": tokenizer.apply_chat_template(msgs, tokenize=False, add_generation_prompt=False)}

dataset = ds.map(format_row)

致谢

数据集	作者
Kassadin88/Claude-Distills	Kassadin88
LEGENDQ/Claude-Opus-4.6-Reasoning-Dataset	LEGENDQ
angrygiraffe/claude-opus-4.6-4.7-reasoning-8.7k	angrygiraffe

由 someoneatemylastsliceofpizza 合并并上传。

搜集汇总

数据集介绍

构建方式

在大型语言模型蒸馏训练的浪潮中，高质量的监督微调数据集扮演着至关重要的角色。claude-opus-4.6-merged数据集便是这一背景下的产物，它从三个社区贡献的数据源中精心萃取而成，分别是Kassadin88/Claude-Distills、LEGENDQ/Claude-Opus-4.6-Reasoning-Dataset以及angrygiraffe/claude-opus-4.6-4.7-reasoning-8.7k。构建过程中，首先对各数据源进行严格的过滤，仅保留由claude-opus-4-6模型生成的样本，同时剔除空响应和包含无效思考占位符的行。随后，通过计算用户首轮提问的小写化与标准化文本的MD5哈希值作为去重键，对逾三万五千条原始记录执行精确的重复数据删除，最终沉淀出一万七千二百六十条高质量对话实例。

特点

该数据集的显著特点在于其纯净性与结构规范性。所有样本均统一遵循OpenAI聊天格式，包含system、user、assistant三列，其中system列可处理空白系统提示，assistant列则可能嵌入<think>推理模块，保留了模型思考的痕迹。数据集中每条样本都附带source来源标签与model标记，极大增强了数据溯源与模型行为分析的便利性。此外，针对不同来源数据集的异构格式，如LEGENDQ的problem/thinking/solution结构，均被标准化转换为统一的对话模板，体现了良好的兼容性与工程化考量。

使用方法

使用方法极为简洁直观，依托HuggingFace datasets库即可一步加载。研究人员可通过load_dataset函数直接取得训练集，每条记录以字典形式呈现。为适配Qwen3等模型的监督微调，推荐将数据转换为对话模板格式：若存在system提示则构建系统角色消息，再将user与assistant内容依次填入用户与助手角色。最后借助tokenizer的apply_chat_template方法，一键生成不含生成提示的完整训练文本，极大简化了从原始数据到模型训练输入的预处理管线。

背景与挑战

背景概述

在大语言模型快速演进的浪潮中，知识蒸馏作为一种高效获取高质量训练数据的手段日益受到关注。claude-opus-4.6-merged数据集由社区研究者someoneatemylastsliceofpizza于近期创建，汇集了来自Kassadin88、LEGENDQ和angrygiraffe三位作者所贡献的三个开源蒸馏数据集，经合并与去重后最终形成17,260条高质量指令-响应对。该数据集以Claude Opus 4.6模型生成的回复为核心，专门面向监督式微调（SFT）任务设计，尤其适用于Qwen3等模型的训练。其研究意义在于通过多源蒸馏数据的整合，在提升数据多样性的同时降低了重复信息的干扰，为开源社区提供了一种高效、洁净的SFT数据构建范例，对提升模型推理能力与指令遵循表现具有潜在推动作用。

当前挑战

该数据集所应对的核心挑战在于，单源蒸馏数据通常存在数据量有限、领域覆盖狭窄以及质量参差不齐的问题，难以充分支撑大模型在通用任务上的微调需求。通过合并三个独立数据集，构建过程面临数据格式异构、字段不统一（如LEGENDQ数据集的problem/thinking/solution需规范化为标准聊天格式）以及重复内容的大量存在（原始35,619行中去重后仅保留17,260行）等难点。此外，还需剔除因蒸馏过程中产生的空回复、占位符响应（如‘...’）以及混杂的非目标模型（如sonnet、claude-4.5）生成的数据，确保最终数据集仅包含Claude Opus 4.6的有效输出，从而保障微调数据的纯净度与可用性。

常用场景

经典使用场景

在自然语言处理与大型语言模型微调领域，高质量监督式微调（SFT）数据集的构建始终是提升模型对齐能力与推理性能的关键基石。claude-opus-4.6-merged数据集通过整合三套源自社区的高质量蒸馏数据，经过严格去重与质量过滤，最终形成17,260条精炼的对话样本。该数据集最经典的使用场景在于对开源大语言模型（如Qwen3系列）进行监督式微调，利用Claude Opus 4.6模型生成的优质推理与回复，将顶尖闭源模型的知识与能力高效迁移至开源模型之中，从而显著提升其在指令遵循、多轮对话及复杂推理任务上的表现。

衍生相关工作

该数据集的出现引发了多项围绕数据蒸馏与模型微调的衍生研究与实践工作。基于其数据融合与质量控制的成功范式，研究者们进一步探索了多源蒸馏数据自动去重与质量评估的通用方法论，推动了如MiniLM、LLaMA系列等开源模型在指令微调阶段的数据高效利用策略。同时，该数据集的发布催生了针对Claude系列模型推理行为分析与知识迁移效果的对比研究，研究者利用其保留的source与model标签，系统分析了不同模型版本与数据源对下游任务性能的差异化贡献。这些衍生工作不仅深化了学术界对知识蒸馏内在机制的理解，也为后续更大规模、更高精度的蒸馏数据集构建提供了可复现的基准流程与评估框架。

数据集最近研究

最新研究方向

该数据集聚焦于通过知识蒸馏技术从Claude Opus 4.6中提取高质量推理数据，用于监督微调开源大语言模型。在AI领域追求模型小型化与性能兼得的浪潮中，这种从顶尖商业模型到开源模型的蒸馏方法成为热点。通过合并三个社区数据集并去重，CLAUDE-OPUS-4.6-MERGED提供了17,260条精炼的推理对话样本，涵盖系统提示、用户交互与助手思考过程，尤其保留了包含<think>结构的复杂推理实例。该数据集的关键意义在于为Qwen3等模型提供了训练基础，推动社区以低成本获取接近顶级闭源模型的推理能力，促进大语言模型民主化与可复现研究的进步。