VibrantVista/TTCW-Based-Review

TTCW创意写作评估数据集是一个用于训练大型语言模型（LLM）作为创意写作评估器的监督微调（SFT）数据集。每个样本包含一个创意故事和四个消息格式列，代表不同的评估目标——从预测结构化分数到生成带有链式推理的完整书面评论。评估框架基于TTCW（通过创意写作思考）框架，涵盖四个维度（流畅性、灵活性、原创性、阐述性）的14个工艺指标。核心任务是：给定一个创意故事，预测14个文学工艺指标的分数（1-10分）和/或生成书面评论。数据集支持四种训练目标：仅预测分数、带推理的分数、带评论的分数、带推理的评论。数据分割包括训练集（约90%）和测试集（约10%），通过故事内容的SHA1哈希值确定性分配。

annotations_creators:
- 机器生成
language_creators:
- 机器生成
language:
- 英语
license: CC-BY-4.0
multilinguality:
- 单语言
size_categories:
- 10万 < n < 100万
source_datasets:
- 原始数据集
task_categories:
- 文本生成
- 文本分类
tags:
- 创意写作
- 故事评估
- TTCW
- 文学分析
- 监督微调（Supervised Fine-Tuning, SFT）
- 推理
pretty_name: TTCW创意写作评估数据集
configs:
- config_name: 默认
data_files:
- split: 训练集
path: data/train-*
- split: 测试集
path: data/test-*
dataset_info:
features:
- name: prompt
dtype: 字符串
- name: story
dtype: 字符串
- name: regenerated_story
dtype: 字符串
- name: word_count
dtype: 整数
- name: needs_regeneration
dtype: 布尔值
- name: generated_model
dtype: 字符串
- name: overall_score
dtype: 浮点数
- name: Fluency1
struct:
- name: nvidia/Llama-3_3-Nemotron-Super-49B-v1_5
struct:
- name: score
dtype: 整数
- name: reason
dtype: 字符串
- name: openai/gpt-oss-120b
struct:
- name: score
dtype: 整数
- name: reason
dtype:字符串
- name: Qwen/Qwen3-Next-80B-A3B-Instruct
struct:
- name: score
dtype: 整数
- name: reason
dtype: 字符串
- name: overall
struct:
- name: review
dtype: 字符串
- name: avg_score
dtype: 浮点数
# 重复结构体Fluency2至Elaboration3格式与Fluency1一致
splits:
- name: 训练集
num_bytes: 139853694875
num_examples: 237271
- name: 测试集
num_bytes: 15699696106
num_examples: 26640
download_size: 154880810059
dataset_size: 155553390981

# TTCW创意写作评估数据集

> **若在研究中使用本数据集，请引用我们的论文**——这有助于支持持续的学术工作。引用详情见本页底部的[引用部分](#citation)。

## 数据集描述

### 摘要
本数据集为监督微调（Supervised Fine-Tuning, SFT）数据集，用于训练大语言模型（LLM）充当创意写作评估者。每个样本包含一篇创意故事，以及四列消息格式的列，对应不同的评估目标——从预测结构化得分到生成带有思维链（Chain-of-Thought, CoT）推理的完整书面评审。

本评估框架基于源自TTCW（Thinking Through Creative Writing，即“透过创意写作思考”）框架的四个维度（流畅性、灵活性、原创性、细节丰富度）下的14项创作指标。

完整详情请参阅[论文](https://arxiv.org/abs/2605.20364)。

### 任务焦点
核心任务为：**给定一篇创意故事，针对14项文学创作指标，以1-10的评分范围预测得分和/或生成书面评审。**

本数据集支持四种训练目标：

| 模式 | 模型学习内容 |
|------|-----------------------|
| `score_only` | 仅预测每项指标的数值得分（1-10） |
| `score_with_reasoning` | 逐步推理后预测得分 |
| `score_with_reviews` | 预测得分并为每项指标生成综合评审 |
| `review_with_reasoning` | 逐步推理后预测得分并生成评审 |

---

## 数据集结构

### 数据拆分
| 拆分 | 占比 |
|-------|----------|
| 训练集 | ~90% |
| 测试集 | ~10% |

拆分分配**通过故事的SHA1内容哈希确定**——重新排序源数据不会改变故事所属的拆分。

### 消息列
本数据集包含四列可直接用于训练的消息格式列。每列均为包含两个键的字典：
python
{
"prompt": [{"role": "user", "content": "..."}],
"completion": [{"role": "assistant", "content": "..."}]
}

| 列名 | 模式 | 近似序列长度 |
|--------|------|--------------------|
| `messages_score_only` | 仅得分模式 | ~8K Token |
| `messages_score_with_reasoning` | 带推理的得分模式 | ~24K Token |
| `messages_score_with_reviews` | 得分+评审模式 | ~16K Token |
| `messages_review_with_reasoning` | 带推理的评审模式 | ~32K Token |

`<think>`块包含构建本数据集所用的LLM裁判的多评审者逐步推理轨迹，可为训练提供丰富的思维链信号。

> **关于思考标签**：推理列使用`<think>`/`</think>`标签（Qwen3约定）。若在使用不同思考标签的基座模型（例如部分模型使用`<thinking>`/`</thinking>`）进行微调，请在训练前替换`messages_score_with_reasoning`和`messages_review_with_reasoning`列中的标签，以匹配基座模型的预期格式。

### 其他字段
| 字段 | 数据类型 | 描述 |
|-------|------|-------------|
| `prompt` | 字符串 | 原始写作提示 |
| `story` | 字符串 | 原始生成的故事 |
| `regenerated_story` | 字符串 | 用于评估的清洗后版本 |
| `word_count` | 整数 | 故事的单词数 |
| `generated_model` | 字符串 | 生成该故事的模型 |
| `overall_avg_score` | 浮点数 | 所有14项指标的平均得分 |
| `metric_avg_scores` | 字典 | 每项指标的平均得分，格式为`{"Fluency1": 7.0, ...}` |
| `Fluency1` … `Elaboration3` | 字典 | 每项指标的原始模型得分与合成评审 |
| `raw_reviews` | 字典 | 合成前的原始模型`{得分, 理由}` |

---

## 14项TTCW指标
本数据集的14项指标源自《Art or Artifice? Large Language Models and the False Promise of Creativity》（Chakrabarty等人，CHI 2024）。所有得分均为1-10的整数（10代表可发表级，1代表基本缺失）。

### 流畅性（Fluency）
| 指标键 | 指标名称 |
|-----|--------|
| `Fluency1` | 叙事节奏（压缩/拉伸） |
| `Fluency2` | 场景与叙事平衡 |
| `Fluency3` | 语言熟练度与文学手法 |
| `Fluency4` | 叙事结尾质量 |
| `Fluency5` | 易懂性与连贯性 |

### 灵活性（Flexibility）
| 指标键 | 指标名称 |
|-----|--------|
| `Flexibility1` | 视角与语气灵活性 |
| `Flexibility2` | 情感灵活性（内在性/外在性） |
| `Flexibility3` | 结构灵活性（出人意料但合理的转折） |

### 原创性（Originality）
| 指标键 | 指标名称 |
|-----|--------|
| `Originality1` | 主题与内涵的原创性 |
| `Originality2` | 思想的原创性（避免陈词滥调） |
| `Originality3` | 形式/结构的原创性 |

### 细节丰富度（Elaboration）
| 指标键 | 指标名称 |
|-----|--------|
| `Elaboration1` | 世界观构建与感官可信度 |
| `Elaboration2` | 角色发展深度 |
| `Elaboration3` | 修辞复杂度（表层与潜台词） |

---

## 输出格式

### 仅得分模式（`messages_score_only`）

TTCW得分报告
总体平均得分：6.43/10

叙事节奏（压缩/拉伸）：7.00/10
场景与叙事平衡：6.00/10
语言熟练度与文学手法：7.00/10
...

### 得分+评审模式（`messages_score_with_reviews`）

完整TTCW评估报告
总体平均得分：6.43/10

叙事节奏（压缩/拉伸） | 得分：7/10
故事在开篇将三年的时间线压缩至两个段落，节奏把控得当...

场景与叙事平衡 | 得分：6/10
...

### 推理模式（`messages_score_with_reasoning`与`messages_review_with_reasoning`）
推理模式会将上述输出包裹在包含多评审者思维链的`<think>`块中：

<think>
### 叙事节奏（压缩/拉伸）
评审者1：
故事开篇将三年的时间线压缩至两个段落...

评审者2：
...
</think>

TTCW得分报告 （或完整TTCW评估报告）
总体平均得分：6.43/10
...

---

## 使用方法

### 加载数据集
python
from datasets import load_dataset

ds = load_dataset("VibrantVista/TTCW-Based-Review")
train = ds["train"]
test = ds["test"]

### 为训练准备数据
每个消息列将`prompt`和`completion`存储为嵌套字段。在传入训练器前，请先扁平化这些字段：
python
MODE = "score_with_reviews" # 选择你的训练模式
col = f"messages_{MODE}"

def prepare(ds):
flat = ds.select_columns([col]).flatten()
return flat.rename_columns({
f"{col}.prompt": "prompt",
f"{col}.completion": "completion",
})

train_ds = prepare(ds["train"])

### 各模式推荐的`max_seq_length`
| 模式 | 推荐`max_seq_length` |
|------|------------------------------|
| `score_only` | 8192 |
| `score_with_reviews` | 16384 |
| `score_with_reasoning` | 24576 |
| `review_with_reasoning` | 32768 |

### 各模式的用户提示格式
每种模式在用户消息的开头使用特定的前缀。在推理时请使用相同的格式：
| 模式 | 用户提示 |
|------|-------------|
| `score_only` | `score only

请使用TTCW指标评估以下故事。

故事：
{story}` |
| `score_with_reasoning` | `score only with reasoning

请使用TTCW指标评估以下故事。

故事：
{story}` |
| `score_with_reviews` | `请使用TTCW指标评估以下故事。

故事：
{story}` |
| `review_with_reasoning` | `review with reasoning

请使用TTCW指标评估以下故事。

故事：
{story}` |

### 使用推理模型（Qwen3/带思考标签的模型）
对于`score_with_reasoning`和`review_with_reasoning`模式，请在推理时启用思考标签：
python
from vllm import LLM, SamplingParams
from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("your-model")
llm = LLM(model="your-model", max_model_len=32768)

story = "从前，有一个..."
messages = [{"role": "user", "content": f"review with reasoning

请使用TTCW指标评估以下故事。

故事：
{story}"}]

prompt = tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True,
enable_thinking=True, # 启用<think>输出
)

outputs = llm.generate([prompt], SamplingParams(temperature=0.0, max_tokens=27648))

对于非推理模式（`score_only`、`score_with_reviews`），请将`enable_thinking`设为`False`。

### 混合训练（组合四种模式）
python
from datasets import concatenate_datasets

COLUMNS = [
"messages_score_only",
"messages_score_with_reasoning",
"messages_score_with_reviews",
"messages_review_with_reasoning",
]

def prepare_mixed(ds):
parts = []
for col in COLUMNS:
flat = ds.select_columns([col]).flatten()
parts.append(flat.rename_columns({
f"{col}.prompt": "prompt",
f"{col}.completion": "completion",
}))
return concatenate_datasets(parts).shuffle(seed=42)

train_mixed = prepare_mixed(ds["train"])

---

## 数据集创建

### 本数据集的构建流程
1. **写作提示**：源自[`euclaise/writingprompts`](https://huggingface.co/datasets/euclaise/writingprompts)
2. **故事生成**：使用`google/gemma-3-27b-it`为每个提示生成故事，过滤出单词数在2000-8000之间的样本
3. **多裁判评估**：3个大语言模型裁判独立为每个故事的14项TTCW指标打分并给出推理过程（所有得分和推理过程均保留在`raw_reviews`中）
4. **评审合成**：元评审大语言模型从2名选定的裁判的评审中合成每项指标的单一共识评审
5. **数据集构建**：为每个故事构建4列训练消息；通过内容哈希进行90/10的训练/测试拆分

评估模型（所有得分均在`raw_reviews`中可用）：
- `nvidia/Llama-3_3-Nemotron-Super-49B-v1_5`
- `openai/gpt-oss-120b`
- `Qwen/Qwen3-Next-80B-A3B-Instruct`

用于合成的模型（训练目标）：
- `nvidia/Llama-3_3-Nemotron-Super-49B-v1_5`
- `openai/gpt-oss-120b`

> `Qwen3-Next-80B-A3B-Instruct`在合成阶段被排除，因为它经常在各项指标间给出重复得分，表明其对评分尺度的敏感度有限且区分度不足。但其原始得分和推理过程仍可在`raw_reviews`中查阅参考。

最终数据集包含**263,911条样本**。

---

## 局限性
- 得分反映的是大语言模型裁判的综合意见，而非专业的人类文学批评
- 所有故事均为机器生成
- 评估模型可能带有自身的审美偏见

---

## 引用
若本数据集对你的工作有所帮助，请引用以下论文。这有助于我们追踪影响力并持续支持该项目。
bibtex
@misc{liu2026reasoningsupervisionhurtsttcwbased,
title={When Reasoning Supervision Hurts: TTCW-Based Long-Form Literary Review Generation},
author={Jinlong Liu and Mohammed Bahja and Mark Lee},
year={2026},
eprint={2605.20364},
archivePrefix={arXiv},
primaryClass={cs.CL},
url={https://arxiv.org/abs/2605.20364},
}

搜集汇总

数据集介绍

构建方式

TTCW-Based-Review数据集是在创意写作评估领域的一项创新性构建。该数据集基于TTCW（Thinking Through Creative Writing）理论框架，通过自动化流程生成。构建过程中，首先收集了丰富的创意故事文本，随后利用多个先进的大语言模型（如Nvidia Llama-3_3-Nemotron-Super-49B、OpenAI GPT-oss-120b等）对每个故事从四个核心维度——流利性、灵活性、原创性和详尽性——进行多轮评分与评语生成。每项评估均包含原因解释与综合评审，最终形成覆盖超过26万条样本的高质量监督微调数据集。数据集采用SHA1内容哈希对故事进行确定性分割，确保训练集与测试集的稳定划分。

特点

该数据集最为显著的特点在于其多维度的结构化评估体系。每个样本不仅包含原始故事文本与提示词，还拥有14项精细化的文学指标评分，每项指标均由多个独立模型交叉验证并附有详细推理过程。数据集提供了四种训练模式：纯分数预测、带推理的分数预测、带综合评语的分数预测，以及完整推理加评语生成，显著增强了模型的灵活适用性。此外，数据集中还封装了对话格式的提示与完成对，便于直接用于大语言模型的序列生成训练。数据规模介于10万至100万之间，兼顾了训练的充分性与计算效率。

使用方法

该数据集专为训练大语言模型成为创意写作评估者而设计。使用者可直接加载HuggingFace上的标准格式，利用其内置的训练集与测试集进行模型微调。针对不同任务需求，可选择四种预设的消息格式列：'messages_score_only'适用于简单分数回归，'messages_score_with_reasoning'适用于带逐步推理的评分，'messages_score_with_reviews'适用于分数加综合评语输出，而'messages_review_with_reasoning'则适用于完整的推理与评语生成。每个样本的对话结构清晰，用户只需按标准格式提取prompt与completion字段，即可直接应用于文本生成或文本分类任务。

背景与挑战

背景概述

在自然语言处理领域，创意写作评估长期受限于主观性强、标准模糊等难题，传统自动化评估方法难以捕捉文学文本的深层美学特质。TTCW-Based-Review数据集正是在这一背景下应运而生，其诞生源于对大型语言模型（LLM）作为文学评估器潜能的探索。该数据集由研究团队基于TTCW（Thinking Through Creative Writing）框架构建，核心研究问题指向如何系统化地训练语言模型在流畅度、灵活性、原创性及阐述深度等14项细粒度文学技法指标上生成量化评分与质性评语。作为首个兼顾多维度结构评分与链式推理评审的监督微调（SFT）数据集，它填补了创意写作自动化评估领域的标准化基准空白，为后续文学分析、故事生成质量评价及可解释性AI研究提供了关键资源。

当前挑战

该数据集所应对的核心领域挑战在于，创意写作评估需跨越文学理论与计算模型的鸿沟，14项细粒度指标本身带有一定解释性歧义，模型需同时理解创作者的意图、文本的隐喻结构与读者情感的复杂交织，这远超传统文本分类或生成任务的范畴。构建过程中，研究团队需面对多重困境：统一的评分尺度如何在跨风格、跨题材的故事上保持内涵一致性；多模型（如Llama、GPT、Qwen）的自动评审结果存在噪声与偏差，如何整合为可靠监督信号；以及消息格式的四种任务变体（纯评分、带推理的评分、带评论的评分等）须在叙事连贯性、结构完整性与无信息泄漏之间取得精妙平衡。此外，约24万条样本的规模级数据需依赖哈希确定性划分以保证可复现性，对数据工程亦提出极高要求。

常用场景

经典使用场景

在自然语言处理与计算创意学交叉领域中，TTCW-Based-Review数据集的核心应用场景是训练大型语言模型成为创意写作的自动评估者。该数据集以TTCW（Thinking Through Creative Writing）理论框架为基石，将文学创作解构为流利性、灵活性、原创性和详尽性四大维度的14项工艺指标，每项指标均以1-10分的量化标尺进行衡量。研究者可借助该数据集引导模型执行从纯粹数值预测到附带思维链推理的完整书面评论生成等多样化评估任务，从而实现对机器生成或人类创作的叙事文本进行多维度、细粒度的质量评判，这在缺乏可靠自动评价标准的创意写作领域具有开创性意义。

衍生相关工作

该数据集的发布催生了一系列富有启发性的衍生研究工作。围绕其提供的14维评估框架，学界展开了关于自动化文学批评与人类评审一致性对比的探讨，探究机器评判在何种维度上接近专家水准。研究者基于该数据集构建了多种监督微调与强化学习管线，旨在提升模型在复杂叙事结构理解上的能力。同时，数据集中包含的思维链推理与多模型联合评分机制，启发了后续工作在可解释评估领域的拓展，例如将评价理由用于生成更具建设性的改写建议。此外，该数据集为跨语言创意写作评估的研究提供了方法论参考，推动了多语言故事质量评价资源的构建。

数据集最近研究

最新研究方向

在大语言模型蓬勃发展的浪潮下，TTCW-Based-Review数据集应运而生，其聚焦于创意写作评估这一前沿交叉领域。该数据集以TTCW（思辨性创意写作）框架为理论基石，从流畅性、灵活性、原创性与详尽性四大维度拆解出14项细粒度文学技艺指标，为模型提供了从简单数值预测到蕴含链式推理的书面评论生成等阶梯式训练目标。这一设计不仅呼应了当前学界对机器生成内容审美与创造性质量评估的迫切需求，更通过多智能体（如Llama、GPT与Qwen系列模型）的评分与理由标注，为建立客观、可复现的文学评估基准开辟了新径，对推动AI从“文本产生者”向“有品鉴力的评论者”跨越具有里程碑意义。