Snow257/reasoning-distill-opus-4-7-max-sft

该数据集包含7,823条来自Claude Opus 4.7的单轮推理对话，经过重新格式化以适用于监督微调（SFT）。每条对话都是一个完整的Qwen风格聊天模板，包含用户提示和助手响应，其中助手响应包括扩展思维（通过`extended-thinking`生成）和最终答案。数据集设计为与`trl.SFTTrainer`和`train_on_responses_only`兼容，仅在助手部分（包括思维令牌）计算损失。数据来源于原始上游数据集`lordx64/reasoning-distill-claude-opus-4-7-max`，但所有响应均使用Claude Opus 4.7重新生成。数据集平均每行约4,000个令牌（使用Qwen3分词器），推理链最长可达32,000个令牌。使用条款需遵守Anthropic的使用政策，数据集包装采用Apache 2.0许可证。

许可证：Apache-2.0
语言：
- 英语
标签：
- 推理
- 思维链（Chain-of-Thought）
- 知识蒸馏
- Claude
- opus-4-7
- SFT（Supervised Fine-Tuning，监督微调）
- qwen-chat-template（通义千问对话模板）
任务类别：
- 文本生成
规模类别：
- 1K < 样本数 <10K
数据集信息：
特征：
- 字段名：text，数据类型：字符串
拆分：
- 拆分名：train，字节数：29328233，样本数：7823
下载大小：15809651
数据集总大小：29328233
配置：
- 配置名：default
数据文件：
- 拆分：train，路径：data/train-*

# 来自Claude Opus 4.7的推理轨迹 — 可直接用于监督微调
本数据集包含7823条单轮推理对话，经重新格式化后可配合`trl.SFTTrainer`与`train_on_responses_only`参数进行监督微调。每条数据均为单个`text`字段，包含完整的qwen-chat-template（通义千问对话模板）格式对话。

## 数据溯源
所有对话的助手回复（包括`<think>...</think>`块内容）均由启用了Anthropic`extended-thinking`（扩展思考）功能的**`claude-opus-4-7`**生成。本数据集为原始数据集的监督微调适配版本：
- **原始上游数据集**：[`lordx64/reasoning-distill-claude-opus-4-7-max`](https://huggingface.co/datasets/lordx64/reasoning-distill-claude-opus-4-7-max)，包含`model`、`thinking`、`response`与`source_dataset`字段，完整署名信息可查阅该数据集卡片。

### 为何本数据集名称含“4-7”但来源提及4.6
本数据集的**提示词**复用自早期蒸馏语料库（部分语料库名称含“4.6”，因最初针对Opus 4.6构建），但本数据集内的**回复**均基于Opus 4.7全新生成，这也是本数据集命名的依据。完整的提示词→回复生成流程可查阅[原始数据集卡片](https://huggingface.co/datasets/lordx64/reasoning-distill-claude-opus-4-7-max)。

## 数据格式
每条`text`字段均为符合qwen-chat-template（通义千问对话模板）格式的完整对话，包含思考过程：

<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{user_prompt}<|im_end|>
<|im_start|>assistant
<think>
{opus_4_7_extended_thinking}
</think>

{opus_4_7_final_answer}<|im_end|>

可直接传入`SFTTrainer`，并指定`dataset_text_field="text"`。本数据集配合`train_on_responses_only`参数使用时，将屏蔽系统与用户侧的损失计算，仅使梯度流经助手轮次（包括其中的思考Token）。

## 数据集规模
- **数据条数**：7823（原始数据集共8124条，因部分数据的`stop_reason != end_turn`或`thinking`/`response`字段为空，在格式化过程中被剔除）
- **单条平均Token数**：约4000（基于Qwen3分词器），超长推理链可达32000 Token。

## 基于本数据集训练的模型
[`lordx64/Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled`](https://huggingface.co/lordx64/Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled) — 仅注意力层LoRA微调，秩（r）=16，训练2个epoch，单张H200显卡完成训练。初步评估结果：GSM8K准确率84.3%，MMLU-Pro准确率74.9%。

## 使用条款
本数据集通过官方API基于Anthropic的Claude Opus 4.7生成。下游使用者需确认自身使用场景符合[Anthropic使用政策](https://www.anthropic.com/legal/usage-policy)。
许可证：Apache 2.0（仅针对数据集包装；数据集内容本身需遵守上述上游条款）。