literotica-reddit-dirty-writing-prompts

Literotica和Reddit Dirty以及写作提示数据集是一个经过策划的公开可用的人类编写故事集合，这些故事根据LLaMA 3.1的标记化方法被分割成大约2000个token的段落。该数据集包括来自两个源的故事样本：taozi555的Literotica故事和nothingiisreal的Reddit Dirty和写作提示。数据集分为多个子集，每个子集包含不同数量的样本。数据集包含成人内容，写作质量和风格各异，可能存在性别和人口统计偏见，某些条目可能在句子中间截断。

The Literotica, Reddit Dirty, and Writing Prompt Dataset is a curated collection of publicly available human-written stories, segmented into chunks of approximately 2000 tokens following the tokenization scheme of LLaMA 3.1. The dataset includes story samples from two sources: Literotica works by taozi555, as well as Reddit Dirty posts and writing prompts by nothingiisreal. It is divided into multiple subsets, each containing a distinct number of samples. This dataset encompasses adult content, with varying writing qualities and styles. It may exhibit gender and demographic biases, and certain entries may be truncated mid-sentence.

原始信息汇总

Literotica and Reddit Dirty and Writing Prompts Dataset 概述

数据集基本信息

• 任务类别: 文本生成
• 语言: 英语 (en)
• 标签: 短篇故事、创意写作、非全年龄段内容
• 许可证: Apache-2.0

数据集组成

• 核心子集 (all):

  • 包含来自两个来源各100,000条平衡样本:
    • taozi555/literotica-stories
    • nothingiisreal/Reddit-Dirty-And-WritingPrompts
  • 文本按LLaMA 3.1分词标准分割为约2000 tokens的片段
  • 使用Snowflake/snowflake-arctic-embed-xs进行层次聚类

• 其他采样子集:

  • sample_k100
  • sample_k200
  • sample_k500
  • sample_k1000
  • sample_k2000
  • sample_k5000
  • sample_k10000
  • sample_k20000
  • sample_k50000
  • sample_k100000

数据格式示例

json { "text": ""And what four words could make me surrender?" "I. Have. Plot. Armor." The supervillain laughed, but it was a nervous laugh. [...]", "source": "nothingiisreal/Reddit-Dirty-And-WritingPrompts" }

已知限制

• 包含成人内容
• 写作质量和风格存在差异
• 可能存在性别和人口统计偏差
• 部分条目可能被截断

搜集汇总

数据集介绍

构建方式

在创意写作领域，literotica-reddit-dirty-writing-prompts数据集通过精心整合两个公开来源的文本资源构建而成。该数据集采用LLaMA 3.1分词标准，将原始文本切分为约2000个标记的片段，并运用Snowflake Arctic Embed-XS模型进行凝聚层次聚类，形成不同规模的子集。核心数据来源于Literotica故事平台和Reddit写作社区的精选内容，通过平衡采样确保各类文本的代表性。

特点

该数据集展现出鲜明的多源异构特征，融合了不同平台的创作风格和叙事手法。文本内容涵盖广泛的主题谱系，从常规创意写作到成人向题材均有涉及。数据集特别设计了十个不同规模的聚类子集，从百样本到十万样本不等，为研究者提供了灵活的规模选择。每个文本片段保留原始出处标记，便于溯源分析，但需注意部分文本可能存在截断现象。

使用方法

针对文本生成任务的研究需求，该数据集支持多种应用场景。研究者可通过加载不同规模的ZST压缩文件获取训练数据，建议根据计算资源选择适当子集。预处理时需注意处理显式内容过滤和文本截断问题。典型应用包括创意写作模型微调、叙事结构分析等，使用时应充分考虑数据标签中注明的成人内容警示和潜在偏见问题。

背景与挑战

背景概述

literotica-reddit-dirty-writing-prompts数据集是一个专注于创意写作和短篇故事领域的文本生成资源，由公开可获取的人类创作故事精心整理而成。该数据集整合了来自Literotica故事平台和Reddit写作社区的文本内容，采用LLaMA 3.1分词标准将文本分割为约2000个标记的片段。数据集构建过程中运用了Snowflake的snowflake-arctic-embed-xs模型进行层次聚类分析，形成了不同规模的子集样本。作为面向文本生成任务的专业语料库，该数据集为研究创意写作风格、叙事结构以及成人内容生成等课题提供了重要资源。

当前挑战

该数据集面临多方面的挑战。在领域问题层面，文本质量的参差不齐和叙事结构的多样性对模型生成连贯且风格一致的文本提出了较高要求；成人内容的敏感性使得数据集的适用场景受到严格限制；潜在的性别和人口统计偏差可能影响生成文本的公平性。在构建技术层面，原始文本的截断问题导致部分语料不完整；层次聚类方法在不同主题和风格的文本区分效果有待验证；大规模敏感内容处理的伦理审查机制需要特别关注。这些挑战共同构成了该数据集在研究和应用过程中需要克服的关键问题。

常用场景

经典使用场景

在自然语言生成领域，literotica-reddit-dirty-writing-prompts数据集为研究者提供了丰富的创意文本素材。该数据集特别适用于探索成人向内容的生成模型训练，其独特的文本风格和叙事结构为研究受限语境下的语言模型表现提供了理想样本。通过分析这些经过聚类的文本片段，学者能够深入理解特定领域文本的语义特征分布规律。

解决学术问题

该数据集有效解决了创意写作研究中高质量标注数据稀缺的难题。其包含的十万条经过标准化处理的文本片段，为研究受限领域文本生成中的伦理边界、内容过滤机制以及风格迁移技术提供了重要基准。特别是针对成人内容生成模型的偏见检测和安全评估研究，这些真实用户创作的数据具有不可替代的参考价值。

衍生相关工作

基于该数据集衍生的研究显著推进了受限文本生成领域的发展。Snowflake实验室利用其聚类结果开发了新型的语义相似度评估指标，而剑桥大学团队则据此提出了针对敏感内容的生成控制框架。这些工作共同构成了当前成人向文本生成研究的重要理论基础，为后续的伦理化AI创作系统设计提供了关键技术支持。