claude-opus-4.6-merged
收藏资源简介：
Claude Opus 4.6合并SFT数据集是一个经过合并和去重的蒸馏数据集，来源于3个社区数据集。该数据集专门用于使用OpenAI聊天格式对Qwen3等模型进行监督微调(SFT)。数据集原始包含35,619条记录，经过基于首用户回合的MD5哈希值（小写且空格标准化）去重后保留17,260条。数据包含5个字段：系统提示(system)、用户输入(user)、助手回复(assistant)、数据来源(source)和生成模型(model)。数据经过严格的质量过滤，包括移除空响应、去重、检查助手回复有效性等处理。数据集特别适用于需要高质量对话数据进行模型微调的研究和应用场景。
Claude Opus 4.6 Merged SFT Dataset is a merged and deduplicated distilled dataset derived from three community datasets. This dataset is specifically designed for supervised fine-tuning (SFT) of models such as Qwen3 using the OpenAI chat format. The original dataset contains 35,619 records, and 17,260 records are retained after deduplication based on the MD5 hash values of the first user turn with lowercase conversion and space normalization applied. The dataset includes five fields: system prompt (system), user input (user), assistant reply (assistant), data source (source), and generation model (model). Strict quality filtering has been applied to the data, including removing empty responses, deduplication, and verifying the validity of assistant replies. This dataset is particularly suitable for research and application scenarios requiring high-quality dialogue data for model fine-tuning.
数据集概述
Claude Opus 4.6 — Merged SFT Dataset 是一个经过合并和去重的蒸馏数据集，来源于三个社区数据集，适用于使用 OpenAI 聊天格式的模型（如 Qwen3）进行监督微调（SFT）。
数据集统计
| 阶段 | 行数 |
|---|---|
| 合并前（去重前） | 35,619 |
| 去重后 | 17,260 |
| 最终上传 | 17,260 |
去重依据：首个用户轮次的 MD5 哈希值（小写化、空白标准化）。
数据模式
| 列名 | 类型 | 描述 |
|---|---|---|
system |
字符串 | 系统提示（若为空则为空字符串） |
user |
字符串 | 首个用户轮次 |
assistant |
字符串 | 首个助手轮次（可能包含 <think> 块） |
source |
字符串 | 来源数据集标签 |
model |
字符串 | 生成响应的 Claude 模型（claude-opus-4-6） |
数据来源
| 数据集 | 加载行数 | 过滤后行数 | 最终行数 | 过滤条件/说明 |
|---|---|---|---|---|
| Kassadin88/Claude-Distills | 144,352 | 12,337 | 12,307 | 仅保留 opus-4.6 来源行，丢弃 sonnet/4.5 行 |
| LEGENDQ/Claude-Opus-4.6-Reasoning-Dataset | 2,326 | 2,308 | 289 | 将 problem/thinking/solution 模式标准化为聊天格式 |
| angrygiraffe/claude-opus-4.6-4.7-reasoning-8.7k | 38,504 | 20,974 | 4,664 | 过滤为 model == claude-opus-4-6，移除 <think> 占位符行 |
质量过滤
- 移除空或 null 响应
- 按标准化后的首个用户轮次哈希去重
- 检查助手轮次：去除
<think>块后响应必须非空 - 丢弃
<think>占位符行（...或…）
使用示例
python from datasets import load_dataset
ds = load_dataset("someoneatemylastsliceofpizza/claude-opus-4.6-merged", split="train") print(ds[0])
{system: ..., user: ..., assistant: ..., source: ..., model: claude-opus-4-6}
Qwen3 SFT 示例
python import json from datasets import load_dataset from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen3-4B")
def format_row(row): msgs = [] if row["system"]: msgs.append({"role": "system", "content": row["system"]}) msgs.append( {"role": "user", "content": row["user"]}) msgs.append( {"role": "assistant", "content": row["assistant"]}) return {"text": tokenizer.apply_chat_template(msgs, tokenize=False, add_generation_prompt=False)}
dataset = ds.map(format_row)
致谢
| 数据集 | 作者 |
|---|---|
| Kassadin88/Claude-Distills | Kassadin88 |
| LEGENDQ/Claude-Opus-4.6-Reasoning-Dataset | LEGENDQ |
| angrygiraffe/claude-opus-4.6-4.7-reasoning-8.7k | angrygiraffe |
由 someoneatemylastsliceofpizza 合并并上传。
