wdndev/webnovel-chinese
收藏资源简介：
--- license: apache-2.0 task_categories: - text-generation language: - zh tags: - llm - pretrain size_categories: - 1B<n<10B --- ## 简介 搜集网络上的网文小说，清洗，分割后，用于训练大语言模型，共计9000本左右，大约9B左右token。 ## 使用 ### 格式说明 采用`jsonl`格式存储，分为三个字段： - `title` ：小说名称 - `chapter`：章节 - `text`：正文内容 示例： ```json {"title": "斗破苍穹", "chapter": " 第一章 陨落的天才", "text": "“斗之力，三段！”\n望着测验魔石碑上面闪亮得甚至有些刺眼的五个大字，少年面无表情，唇角有着一抹自嘲，紧握的手掌，因为大力，而导致略微尖锐的指甲深深的刺进了掌心之中，带来一阵阵钻心的疼痛……\n“萧炎，斗之力，三段！级别：低级！”测验魔石碑之旁，一位中年男子，看了一眼碑上所显示出来的信息，语气漠然的将之公布了出来……\n"} ```
license: apache-2.0 task_categories: - text-generation language: - zh tags: - llm - pretrain size_categories: - 1B<n<10B ### Introduction Collected, cleaned and segmented from online web novels, this dataset is intended for training Large Language Models (LLMs). It contains approximately 9,000 novels and around 9 billion tokens. ### Usage #### Format Specification The dataset is stored in `jsonl` format, consisting of three core fields: - `title`: The name of the novel - `chapter`: The chapter information - `text`: The main body content of the chapter Example: json {"title": "斗破苍穹", "chapter": " 第一章 陨落的天才", "text": "“斗之力，三段！” 望着测验魔石碑上面闪亮得甚至有些刺眼的五个大字，少年面无表情，唇角有着一抹自嘲，紧握的手掌，因为大力，而导致略微尖锐的指甲深深的刺进了掌心之中，带来一阵阵钻心的疼痛…… “萧炎，斗之力，三段！级别：低级！”测验魔石碑之旁，一位中年男子，看了一眼碑上所显示出来的信息，语气漠然的将之公布了出来…… "}
数据集概述
基本信息
- 许可证：Apache-2.0
- 任务类别：文本生成
- 语言：中文
- 标签：大语言模型（LLM）、预训练
- 大小类别：1B<n<10B
数据集内容
- 数据来源：网络上的网文小说
- 处理过程：清洗、分割
- 数据量：约9000本小说，总计约9B token
数据格式
- 存储格式：
jsonl - 字段说明：
title：小说名称chapter：章节text：正文内容
示例数据
json {"title": "斗破苍穹", "chapter": " 第一章 陨落的天才", "text": "“斗之力，三段！” 望着测验魔石碑上面闪亮得甚至有些刺眼的五个大字，少年面无表情，唇角有着一抹自嘲，紧握的手掌，因为大力，而导致略微尖锐的指甲深深的刺进了掌心之中，带来一阵阵钻心的疼痛…… “萧炎，斗之力，三段！级别：低级！”测验魔石碑之旁，一位中年男子，看了一眼碑上所显示出来的信息，语气漠然的将之公布了出来…… "}
