TTCW-Based-Review

TTCW创意写作评估数据集是一个用于训练大型语言模型（LLM）作为创意写作评估器的监督微调（SFT）数据集。该数据集基于TTCW（Thinking Through Creative Writing）框架，包含14个文学工艺指标，涵盖流畅性、灵活性、原创性和阐述性四个维度。核心任务是给定一个创意故事，预测这些指标的分数（范围1-10分）和/或生成完整的书面评论，支持四种训练模式：仅预测分数、带推理链的分数预测、预测分数并生成评论、带推理链的分数预测和评论生成。数据集包含263,911个样本，按故事内容的SHA1哈希值确定性地分割为约90%的训练集和约10%的测试集。每个样本包括原始写作提示、生成的故事、清理后的故事版本、字数统计、生成模型信息以及基于多个LLM评委评估的分数和评论。数据集提供了四种预格式化的消息列，可直接用于不同训练模式，其中推理模式包含多评委的逐步推理痕迹，为模型提供丰富的思维链训练信号。数据集的创建过程涉及：从现有数据集获取写作提示，使用Gemma-3-27B模型生成故事，由三个LLM评委独立评估所有14个指标，最后通过元评审LLM合成共识评论。该数据集适用于创意写作自动评估、文学分析、文本生成质量评估等任务，但需注意其分数反映的是LLM评委的集体意见而非人类专家批评，且所有故事均为机器生成。

The TTCW Creative Writing Evaluation Dataset is a supervised fine-tuning (SFT) dataset designed for training large language models (LLMs) as creative writing evaluators. It is based on the TTCW (Thinking Through Creative Writing) framework and includes 14 literary craft metrics covering four dimensions: fluency, flexibility, originality, and elaboration. The core task is to predict scores (on a scale of 1-10) and/or generate full written critiques for given creative stories, supporting four training modes: score prediction only, score prediction with reasoning chains, score prediction with critique generation, and score prediction with reasoning chains and critique generation. The dataset contains 263,911 samples, deterministically split into approximately 90% training set and 10% test set based on SHA1 hash values of story content. Each sample includes the original writing prompt, generated story, cleaned story version, word count, generation model information, and scores and critiques evaluated by multiple LLM judges. The dataset provides four pre-formatted message columns for direct use in different training modes, with reasoning modes containing step-by-step reasoning traces from multiple judges to provide rich chain-of-thought training signals. The creation process involves: obtaining writing prompts from existing datasets, generating stories using the Gemma-3-27B model, independently evaluating all 14 metrics by three LLM judges, and synthesizing consensus critiques via a meta-review LLM. This dataset is suitable for tasks such as automatic creative writing evaluation, literary analysis, and text generation quality assessment, but note that its scores reflect collective opinions of LLM judges rather than human expert critiques, and all stories are machine-generated.

原始信息汇总

TTCW 创意写作评估数据集

数据集概述

这是一个用于监督微调（SFT）的数据集，旨在训练大型语言模型（LLM）成为创意写作评估器。每个样本包含一个创意故事和四个消息格式列，代表不同的训练目标——从预测结构化分数到生成带有思维链推理的完整书面评论。

评估框架基于源自 TTCW（Thinking Through Creative Writing）框架的14 项写作技巧指标，涵盖四个维度（流畅性、灵活性、原创性、详细性）。

核心任务是：给定一个创意故事，预测 14 项文学技巧指标在 1-10 分制下的分数和/或生成书面评论。

数据集结构

数据拆分

拆分	比例
训练集	~90%
测试集	~10%

拆分分配基于故事的 SHA1 内容哈希，是确定性的。

消息列

数据集包含四个训练就绪的消息列，每列是一个包含 prompt 和 completion 两个键的字典：

列名	模式	大约序列长度
messages_score_only	仅分数	~8K tokens
messages_score_with_reasoning	<think> 思维链 + 分数	~24K tokens
messages_score_with_reviews	分数 + 书面评论	~16K tokens
messages_review_with_reasoning	<think> 思维链 + 分数 + 书面评论	~32K tokens

其他字段

字段	类型	描述
prompt	string	原始写作提示
story	string	原始生成故事
regenerated_story	string	用于评估的清洗版本
word_count	int	故事的词数
generated_model	string	生成故事的模型
overall_avg_score	float	所有 14 项指标的平均分
metric_avg_scores	dict	每项指标的得分平均值
Fluency1 ... Elaboration3	dict	每个模型的原始分数和每项指标的合成评论
raw_reviews	dict	每项指标每个模型在合成前的 {score, reason}

14 项 TTCW 指标

所有分数为整数 1-10（10 分=可发表，1 分=基本缺失）。

流畅性

键	指标
Fluency1	叙事节奏（压缩/拉伸）
Fluency2	场景与说明的平衡
Fluency3	语言熟练度与文学手法
Fluency4	叙事结尾质量
Fluency5	可理解性与连贯性

灵活性

键	指标
Flexibility1	视角与声音的灵活性
Flexibility2	情感灵活性（内在/外在）
Flexibility3	结构灵活性（出人意料但恰当的转折）

原创性

键	指标
Originality1	主题与寓意的原创性
Originality2	思想的原创性（避免陈词滥调）
Originality3	形式/结构的原创性

详细性

键	指标
Elaboration1	世界观构建与感官可信度
Elaboration2	人物发展深度
Elaboration3	修辞复杂性（表面与潜文本）

输出格式

仅分数模式（messages_score_only）

输出以“TTCW Score Report”开头，包含总体平均分和每项指标的分数。

分数+评论模式（messages_score_with_reviews）

输出以“Full TTCW Evaluation Report”开头，包含总体平均分以及每项指标的分数和书面评论。

推理模式（messages_score_with_reasoning, messages_review_with_reasoning）

输出在分数报告或完整评估报告前，用一个 <think> 块包裹多评审者的思维链推理过程。

数据集创建

1. 写作提示来源于 euclaise/writingprompts 数据集
2. 故事生成——google/gemma-3-27b-it 为每个提示生成故事；筛选出 2,000-8,000 词的故事
3. 多评审者评估——3 个 LLM 评审者独立为每个故事评分和推理所有 14 项 TTCW 指标（所有分数和推理均保留在 raw_reviews 中）
4. 评论合成——一个元评审者 LLM 将来自 2 个选定评审者的评论合成为每项指标的共识评论
5. 数据集构建——每个故事构建 4 个训练消息列；按内容哈希进行 90/10 训练/测试拆分

评估模型（所有分数可在 raw_reviews 中获取）：

• nvidia/Llama-3_3-Nemotron-Super-49B-v1_5
• openai/gpt-oss-120b
• Qwen/Qwen3-Next-80B-A3B-Instruct

合成模型（训练目标）：

• nvidia/Llama-3_3-Nemotron-Super-49B-v1_5
• openai/gpt-oss-120b

最终数据集包含 263,911 行。

局限性

• 分数反映的是 LLM 评审者的汇总意见，而非专家级人类文学批评
• 所有故事均为机器生成
• 评估模型可能带有自身的美学偏见

许可协议

cc-by-4.0

搜集汇总

数据集介绍

构建方式

TTCW-Based-Review数据集基于Thinking Through Creative Writing（TTCW）框架构建，旨在训练大型语言模型作为创意写作评估者。其构建流程始于从euclaise/writingprompts数据集获取写作提示，由google/gemma-3-27b-it模型生成2000至8000词的故事。随后，三个独立的大语言模型评审（包括nvidia/Llama-3_3-Nemotron-Super-49B-v1_5、openai/gpt-oss-120b和Qwen/Qwen3-Next-80B-A3B-Instruct）对每篇故事在14项文学技艺指标上独立评分并给出推理过程。最终，一个元评审模型综合两位评审的意见生成每项指标的共识性评论，从而形成四个训练消息列，并依据故事内容哈希的SHA1值进行确定性90/10训练测试划分，最终产出263,911行数据。

使用方法

使用者可通过HuggingFace的datasets库轻松加载数据集，并选择四种训练模式之一进行微调。每个模式对应的消息列包含prompt和completion字段，需先进行扁平化处理以适应训练器。建议根据模式设定max_seq_length（从8192至32768不等），并注意替换推理列中的<think>标签以匹配基础模型的格式。在推理阶段，不同模式需使用特定的用户提示前缀（如'score only'或'review with reasoning'）。对于需要思维链输出的模式，应在分词时启用thinking功能。数据集还支持将四种模式的数据混合训练，通过拼接和打乱操作可构建多样化的训练集，以提升模型的泛化能力。

背景与挑战

背景概述

TTCW-Based-Review数据集由Jinlong Liu、Mohammed Bahja和Mark Lee于2026年创建，旨在推动大型语言模型在创意写作评估领域的发展。该数据集基于TTCW（Thinking Through Creative Writing）理论框架，包含263,911条由机器生成的创意故事和多维度评估数据，覆盖流畅性、灵活性、原创性和阐述四个维度的14项文学工艺指标。通过监督微调范式，数据集支持从简单分数预测到包含链式推理的完整评论生成等多种训练目标，为自动化文学批评和生成式评估模型提供了标准化训练资源，对自然语言处理与创意写作交叉研究具有里程碑式影响。

当前挑战

该数据集所解决的领域挑战在于量化创意写作这一主观性极强的艺术形式，传统文学评估难以建立客观标准，而TTCW-Based-Review将14项精细指标转化为1-10分级体系，使模型学会模仿多评委的共识性判断。构建过程中面临的双重挑战包括：评委模型间存在评分偏差与审美偏见，如Qwen3-Next-80B-A3B-Instruct因尺度敏感性不足被剔除合成阶段；以及需要从三个独立LLM评委的原始评分与推理中合成统一评论，同时保证长序列（高达32K tokens）训练数据在思维标签格式上的跨模型兼容性。

常用场景

经典使用场景

在创意写作评估领域，TTCW-Based-Review数据集作为监督微调（SFT）的核心资源，广泛用于训练大型语言模型（LLM）担任文学评论家的角色。该数据集基于TTCW（Thinking Through Creative Writing）框架，涵盖流畅性、灵活性、原创性与阐述性四个维度的14项精细工艺指标，每项以1-10量表评分。研究者可依据四种训练模式——纯分数预测、带推理链的分数预测、分数与综合评语生成、以及融合推理的完整评论生成——对模型进行针对性训练。这一多样化的任务设计，使得该数据集成为探索AI文学批评能力的基石，尤其适用于教导LLM掌握专业文学分析技能与结构化评价逻辑。

解决学术问题

该数据集直击创意写作自动化评估中长期存在的核心困境：如何将模糊、多变的文学审美转化为可量化的、具备学术严谨性的评价框架。传统人工评价高昂且难以复制，而现有自动化方法或流于表面、或缺乏批判深度。TTCW-Based-Review通过引入多评委独立打分与综合推理合成机制，显著提升了评价的一致性与可解释性。它解决了LLM在创意写作领域“评价能力”与“生成能力”之间的鸿沟，并为后续研究提供了统一基准。其学术意义在于，它为文学计算、自动化写作反馈系统以及人类-AI协作创造力的研究，奠定了坚实的数据与方法论基础。

实际应用

在实际应用层面，该数据集赋能了众多面向创意教育与写作辅助的系统。例如，可基于微调后的模型构建实时在线写作辅导平台，为小说作者或学生创作的叙事作品提供针对节奏把握、人物塑造、语言技巧等维度的详细评分与修改建议。此外，在出版行业中，它能辅助编辑团队进行初稿筛选与匿名评审，提升评审效率与客观性。该数据集同样适用于游戏叙事脚本测试、广告文案的创意质量评估，以及自动化文学竞赛评审系统等场景，展现了从学术研究向工业级创意评估工具转化的巨大潜力。

数据集最近研究

最新研究方向

当前，基于TTCW框架的创意写作评估数据集正引领大语言模型在文学评价领域的前沿探索，尤其聚焦于通过监督微调赋予模型对叙事节奏、情感张力和原创性等14项微观指标进行多维度评分与生成式评述的能力。该方向与思维链推理、多评判者共识合成及分歧处理等热点议题紧密交织，研究者致力于揭示推理监督在对齐审美偏好时的效能边界——例如，过度的逐步推理反而可能抑制模型对文本深层意蕴的敏感度。这一数据集不仅为自动化文学批评提供了可复现的基准，更推动了生成式AI从浅层模仿向深层文艺理解的范式跃迁，其跨模态评价框架对教育评估、创意产业及人机协作写作具有深远的结构性影响。