RyokoAI/Honeyfeed3600

--- license: apache-2.0 language: - en tags: - novel - training - story task_categories: - text-classification - text-generation pretty_name: Honeyfeed3600 size_categories: - 1K<n<10K --- # Dataset Card for Honeyfeed3600 *The BigKnow2022 dataset and its subsets are not yet complete. Not all information here may be accurate or accessible.* ## Dataset Description - **Homepage:** (TODO) - **Repository:** <https://github.com/RyokoAI/BigKnow2022> - **Paper:** N/A - **Leaderboard:** N/A - **Point of Contact:** Ronsor/undeleted <[e-mail]> ### Dataset Summary Honeyfeed3600 is a dataset consisting of text from over 38,000 chapters across approximately 3,600 series posted on the English-language web novel site [Honeyfeed](https://www.honeyfeed.fm). ### Supported Tasks and Leaderboards This dataset is primarily intended for unsupervised training of text generation models; however, it may be useful for other purposes. * text-classification * text-generation ### Languages * English ## Dataset Structure ### Data Instances ```json { "text": "Dark, black, nothingness. There are so many ways to describe that hole, but nothing would get me down there..."," "meta": { "subset": "honeyfeed", "themes": [], "my_themes": [], "prompt": "", "author": "Lucianael", "novel": "10009", "id": "55686", "title": "13 Steps - 13 Steps", "likes": 4, "views": 21, "q": 0.5999999999999999 } } ``` ### Data Fields * `text`: the actual chapter text * `meta`: novel and chapter metadata * `subset`: dataset tag: `honeyfeed` * `lang`: dataset language: `en` (English) * `themes`: array of novel themes * `my_themes`: array of additional novel themes * `prompt`: writing prompt * `author`: author name * `novel`: novel ID * `id`: chapter ID * `title`: novel and chapter title in the form `<chapter title> - <novel title>` * `likes`: novel like count * `views`: novel view count * `q`: q-score (quality score) #### Q-Score Distribution ``` 0.00: 499 0.10: 420 0.20: 2562 0.30: 0 0.40: 0 0.50: 13344 0.60: 9021 0.70: 5997 0.80: 4217 0.90: 1931 1.00: 801 ``` ### Data Splits No splitting of the data was performed. ## Dataset Creation ### Curation Rationale TODO ### Source Data #### Initial Data Collection and Normalization TODO #### Who are the source language producers? The authors of each novel. ### Annotations #### Annotation process Chapter and novel titles were scraped alongside chapter text. #### Who are the annotators? No human annotators. ### Personal and Sensitive Information The dataset contains only works of fiction, and we do not believe it contains any PII. ## Considerations for Using the Data ### Social Impact of Dataset This dataset is intended to be useful for anyone who wishes to train a model to generate "more entertaining" content. It may also be useful for other languages depending on your language model. ### Discussion of Biases This dataset is composed of fictional works by various authors. Because of this fact, the contents of this dataset will reflect the biases of those authors. Beware of stereotypes. ### Other Known Limitations N/A ## Additional Information ### Dataset Curators Ronsor Labs ### Licensing Information Apache 2.0, for all parts of which Ronsor Labs or the Ryoko AI Production Committee may be considered authors. All other material is distributed under fair use principles. ### Citation Information ``` @misc{ryokoai2023-bigknow2022, title = {BigKnow2022: Bringing Language Models Up to Speed}, author = {Ronsor}, year = {2023}, howpublished = {\url{https://github.com/RyokoAI/BigKnow2022}}, } ``` ### Contributions Thanks to @ronsor (GH) for gathering this dataset.许可证：Apache 2.0 语言： - 英语 标签： - 小说 - 训练 - 故事 任务类别： - 文本分类 - 文本生成 友好名称：Honeyfeed3600 样本量区间：1000 < n < 10000 # Honeyfeed3600 数据集卡片 *BigKnow2022数据集及其子集尚未完善，本文档部分信息可能不准确或无法获取。* ## 数据集说明 - **主页:** (待完善) - **代码仓库:** <https://github.com/RyokoAI/BigKnow2022> - **论文:** 无 - **排行榜:** 无 - **联系人:** Ronsor/undeleted <[e-mail]> ### 数据集概述 Honeyfeed3600是一个数据集，收录了来自英文网络小说平台[Honeyfeed](https://www.honeyfeed.fm)上约3600部系列小说的超38000章文本内容。 ### 支持任务与排行榜 本数据集主要用于文本生成模型的无监督训练，同时也可适用于其他相关场景。支持的任务包括： * 文本分类 * 文本生成 ### 语言 * 英语 ## 数据集结构 ### 数据样例 json { "text": "黑暗，漆黑，虚无。描述这片空洞的方式有千万种，但没有一种能让我身临其境……", "meta": { "subset": "honeyfeed", "themes": [], "my_themes": [], "prompt": "", "author": "Lucianael", "novel": "10009", "id": "55686", "title": "13 Steps - 13 Steps", "likes": 4, "views": 21, "q": 0.5999999999999999 } } ### 数据字段 * `text`: 实际的章节文本 * `meta`: 小说与章节元数据 * `subset`: 数据集标签：`honeyfeed` * `lang`: 数据集语言：`en`（英语） * `themes`: 小说主题数组 * `my_themes`: 自定义小说主题数组 * `prompt`: 写作提示 * `author`: 作者姓名 * `novel`: 小说ID * `id`: 章节ID * `title`: 格式为“<章节标题> - <小说标题>”的章节与小说标题 * `likes`: 小说点赞数 * `views`: 小说浏览量 * `q`: q评分（质量评分） #### q评分分布 0.00: 499 0.10: 420 0.20: 2562 0.30: 0 0.40: 0 0.50: 13344 0.60: 9021 0.70: 5997 0.80: 4217 0.90: 1931 1.00: 801 ### 数据划分 未对数据集进行任何划分。 ## 数据集构建 ### 遴选依据 （待完善） ### 源数据 #### 初始数据收集与标准化 （待完善） #### 源语言内容创作者是谁？ 各小说的作者。 ### 标注信息 #### 标注流程 章节与小说标题连同章节文本一同被爬取。 #### 标注者是谁？ 无人工标注者。 ### 个人与敏感信息 本数据集仅包含虚构作品，我们认为其中不包含任何个人可识别信息(PII, Personally Identifiable Information)。 ## 数据集使用注意事项 ### 数据集的社会影响 本数据集旨在为所有希望训练模型生成“更具趣味性”内容的人员提供助力，同时根据你的语言模型适配情况，也可用于其他语言相关任务。 ### 偏见说明 本数据集由多位作者创作的虚构作品组成，因此数据集内容将反映这些作者的固有偏见，请警惕其中可能存在的刻板印象。 ### 其他已知局限性 无。 ## 附加信息 ### 数据集维护方 Ronsor实验室（Ronsor Labs） ### 许可证信息 Apache 2.0许可证适用于所有可被视为Ronsor实验室或Ryoko AI制作委员会原创的部分。其余材料均遵循合理使用原则。 ### 引用信息 @misc{ryokoai2023-bigknow2022, title = {BigKnow2022: Bringing Language Models Up to Speed}, author = {Ronsor}, year = {2023}, howpublished = {url{https://github.com/RyokoAI/BigKnow2022}}, } ### 贡献致谢 感谢@ronsor（GitHub账号）收集本数据集。

原始信息汇总

数据集概述

数据集名称

• Honeyfeed3600

数据集描述

• 内容来源：包含来自英语网络小说网站Honeyfeed的超过38,000章节，涉及约3,600个系列。
• 主要用途：用于无监督文本生成模型的训练，也可用于其他文本相关任务。

数据集结构

• 数据实例：每个实例包含文本内容和元数据。
  • 文本：章节的具体内容。
  • 元数据：包括子集标签、语言、主题、作者、小说ID、章节ID、标题、点赞数、浏览量和质量评分（q-score）。
• 数据字段：
  • text: 章节文本内容。
  • meta: 小说和章节元数据，包括：
    • subset: 数据集标签，固定为honeyfeed。
    • lang: 语言，固定为en（英语）。
    • themes: 小说主题列表。
    • my_themes: 额外的小说主题列表。
    • prompt: 写作提示。
    • author: 作者名称。
    • novel: 小说ID。
    • id: 章节ID。
    • title: 章节标题与小说标题的组合。
    • likes: 点赞数。
    • views: 浏览量。
    • q: 质量评分（q-score）。
• Q-Score分布：详细列出了不同q-score值的实例数量。

数据集语言

• 英语

许可证

• Apache 2.0

联系信息

• 联系人：Ronsor/undeleted [e-mail]

数据集创建

• 源数据生产者：各小说的作者。
• 注释过程：自动从网站抓取章节和小说标题。
• 敏感信息：数据集仅包含虚构作品，不包含个人敏感信息。

使用注意事项

• 社会影响：旨在帮助训练生成“更娱乐”的内容的模型。
• 偏见讨论：数据集内容反映作者的偏见，需注意避免刻板印象。

搜集汇总

数据集介绍

构建方式

在自然语言处理与文本生成领域，高质量的小说文本数据集对于训练出具有叙事连贯性与创意性的语言模型至关重要。Honeyfeed3600数据集源自英文网络小说平台Honeyfeed，通过自动化爬虫技术，系统性地收集了约3600部小说系列中的超过38000个章节文本。数据采集过程同步获取了章节标题、小说元数据（如作者、主题标签、点赞数、阅读量）及质量评分（q-score），构建了包含文本内容与结构化元信息的复合数据格式。该数据集未进行人工标注，完全依赖原始平台信息，并遵循Apache 2.0许可协议发布。

特点

该数据集的显著特点在于其规模与元数据的丰富性。涵盖3600个独立小说系列，文本总量超过38000章，为文本生成模型提供了多样化的叙事风格与主题素材。每个数据实例不仅包含完整的章节文本，还附带了详尽的元数据字段，包括作者信息、主题标签、写作提示以及基于平台互动数据计算的质量评分（q-score），其分布从0.00至1.00不等，为研究者提供了评估文本质量与受欢迎程度的量化指标。此外，数据集中所有作品均为英文虚构文学，避免了个人身份信息的干扰，专注于创意写作领域。

使用方法

对于研究者而言，该数据集主要适用于无监督文本生成模型的训练，可有效提升模型在长篇叙事创作中的表现。使用时可利用HuggingFace Datasets库直接加载，通过指定数据集标识符'RyokoAI/Honeyfeed3600'即可获取。数据以JSON格式存储，每个样本包含'text'字段用于模型输入，以及'meta'字段提供丰富的辅助信息。研究者可根据q-score筛选高质量文本，或利用主题标签进行领域特定训练。值得注意的是，该数据集未预设训练/测试划分，使用者需自行分割，并注意其中可能反映的作者固有偏见。

背景与挑战

背景概述

在自然语言处理领域，文本生成模型的性能高度依赖于训练数据的多样性与质量。RyokoAI/Honeyfeed3600数据集由Ronsor实验室于2023年创建，旨在为无监督文本生成任务提供丰富的英文网络小说语料。该数据集收录了来自Honeyfeed平台约3600部系列作品、超过38,000个章节的文本内容，并附有元数据如主题标签、作者信息和质量评分（Q-score）。其核心研究问题在于如何利用大规模、非结构化的小说文本提升语言模型的创作能力与叙事连贯性。作为BigKnow2022项目的一部分，该数据集为文本分类与生成研究提供了独特的创作型语料，推动了面向娱乐内容的人工智能模型发展。

当前挑战

Honeyfeed3600数据集面临多重挑战。首先，在领域问题层面，其核心目标是提升文本生成模型的叙事多样性与趣味性，但小说文本中的隐喻、情感张力及长程依赖关系对模型捕捉复杂语义结构构成显著障碍，且质量评分分布不均（如Q-score 0.5占13344条、1.0仅801条）可能导致模型偏向中等质量内容。其次，在构建过程中，数据爬取与规范化面临版权与伦理边界问题——尽管采用合理使用原则，但平台内容版权归属模糊可能引发法律风险；同时，元数据如主题标签（themes）依赖作者自标注，缺乏一致性校验，可能引入噪声；此外，未进行数据分割（如训练/验证集划分）限制了模型评估的标准化流程，增加了过拟合或泛化能力不足的风险。

常用场景

经典使用场景

Honeyfeed3600数据集汇聚了来自英文网络小说平台Honeyfeed上约3600部系列作品、超过38000个章节的文本内容，其核心应用场景在于无监督文本生成模型的预训练与微调。该数据集以其丰富的虚构叙事文本为特色，涵盖了多样化的题材与写作风格，为语言模型提供了大量连贯、富有创意的叙事语料，使其能够学习到长篇文本的结构、情节推进与角色对话等复杂语言模式，从而提升模型在开放式故事生成任务中的表现力与连贯性。

解决学术问题

在学术研究层面，Honeyfeed3600有效回应了自然语言处理领域中高质量、长篇幅叙事文本语料匮乏的难题。传统的语料库多聚焦于新闻、百科或对话数据，难以支撑模型对虚构叙事逻辑与创意写作风格的学习。该数据集为研究者提供了可规模化利用的英文小说文本资源，支持对文本生成模型的叙事一致性、情感连贯性及风格迁移能力进行深入探究，推动了面向创意写作的语言模型评估基准的建立与完善。

衍生相关工作

基于Honeyfeed3600数据集，学术界与工业界已衍生出多项经典工作。其中，研究者利用该数据集训练了面向长篇故事生成的分层Transformer模型，探索了章节级与段落级上下文建模的有效策略；另有工作基于该数据的主题标签与质量评分，构建了叙事风格迁移与可控文本生成系统。这些工作不仅验证了数据集在促进创意AI发展方面的潜力，也为后续面向虚构文本的预训练语言模型研究奠定了扎实的数据基础。