chinese_novel

《空间魔导书与少年魔法师》是一个高质量的繁体中文奇幻轻小说完整文本数据集，专门为大型语言模型（LLM）的训练与评估而构建。数据集的核心内容是一部原创长篇轻小说，总计约160万字（约160万tokens），以纯文本（.txt）格式提供，采用UTF-8编码。故事语言为繁体中文（zh-Hant），类型融合了奇幻、魔法、轻小说，并巧妙结合了西方奇幻、蒸汽朋克、政治阴谋与冒险元素，具有流畅的文笔、结构完整的情节和生动的角色塑造。数据集结构丰富，包含四个核心文件：1) `your_novel.txt`：完整的160万字小说原文，适用于LLM的预训练；2) `sft_train.jsonl`：由原文自动切分生成的情节接龙式问答对，适用于监督微调（SFT）；3) `roleplay_and_settings.jsonl`：一个经过深度提炼的“黄金数据集”，包含了小说的核心设定、经典台词以及高质量的角色扮演对话，适用于高阶的对齐微调；4) `cld_utf8.txt`：经过AI总结与人工校验后的小说大纲。本数据集采用CC0 1.0公共领域贡献许可，作者已放弃所有著作权，明确声明100%免版税且版权安全，完全允许并鼓励任何个人、学术机构及商业公司将其内容用于人工智能模型的预训练、监督微调、角色扮演训练、长上下文能力评估以及创意写作测试等商业或非商业用途。

原始信息汇总

数据集概述

名称： 空間魔導書與少年魔法師 (Space Grimoire and the Young Mage)

许可协议： CC0 1.0（公眾領域貢獻宣告），作者完全允许任何个人、学术机构及商业公司将本作品用于AI模型训练、微调、测试与生成。

任务类别： 文本生成

语言： 中文（繁体中文，zh-Hant）

规模： 约 1,600,000 中文字（超过 200 万 tokens），样本数量介于 1,000 到 10,000 之间。

标签： 小说、轻小说、创意写作、虚构、奇幻、中文繁体、繁体中文、人类撰写

数据类型： 纯文本（.txt），UTF-8 编码

数据来源与质量

• 100% 人类原创内容，不含任何 AI 生成文字。
• 由作者本人亲自撰写并直接释放，权利来源清晰，无第三方版权疑虑。
• 原生繁体中文写作，非简体转换，语感与用词地道。

数据集简介

• 书名： 空間魔導書與少年魔法師
• 作者： 睡半夜怎麼三更
• 类型： 奇幻、魔法、蒸汽庞克、冒险、政治斗争
• 规模： 约 1,600,000 中文字（约 200 万以上 tokens）
• 格式： 纯文本（.txt），UTF-8 编码
• 适用场景： LLM 预训练、监督式微调（SFT）、角色扮演/创意写作训练、长文本评测。此长度的原生繁体中文语料库较为罕见，有助于提升繁体中文流畅度。

数据格式示例

文本以章节为单位组织，格式如下： text 第一章:章節名稱

小說內文第一段……

小說內文第二段……

快速使用

使用 Hugging Face datasets 库加载： python from datasets import load_dataset dataset = load_dataset("asd567557275/chinese_novel") print(dataset["train"][0])

注意：直接加载 txt 时，预设每一行为一笔资料。若需以“章”为单位处理，可依“第X章”标题自行切分。

附属工具

• make_dataset.py：将原文转换为“情节接龙”SFT 格式（instruction/output 问答对）的脚本，供需要监督式微调格式的开发者自行生成。

相关数据集

• 作者校订之结构化设定集（剧情摘要/人物/世界观设定/问答）：链接待上传。
• 作者与 AI 讨论本作之对话记录（含 AI 生成内容，已明确标注）：链接待上传。

搜集汇总

数据集介绍

构建方式

该数据集源自一部名为《空間魔導書與少年魔法師》的繁體中文原創奇幻輕小說，全書由作者睡半夜怎麼三更親自撰寫並釋出，作品規模宏大，總計約160萬中文字，折合逾200萬tokens。數據以純文字格式呈現，採用UTF-8編碼，每行文本對應一筆資料，並保留了原始章節劃分結構，便於用戶根據章節標題自行切割處理。此外，作者提供了附屬腳本，可將原文轉換為情節接龍式的監督微調格式，進一步拓展了數據集的適用場景。

特点

本數據集的核心特點在於其100%人類原創的屬性，杜絕任何AI生成內容，確保了文本的獨特語感和道地繁中表達，有助於提升模型在繁體中文領域的流暢度。作品類型融合奇幻、魔法、蒸汽龐克、冒險與政治鬥爭等元素，敘事豐富且情節連貫，非常適合用於大型語言模型的預訓練、監督微調、角色扮演與創意寫作訓練，以及長文本評測。其授權採用CC0 1.0公眾領域貢獻宣言，作者明確允許個人、學術機構及商業公司無償使用。

使用方法

使用時，可通過HuggingFace的datasets庫直接加載，透過load_dataset('asd567557275/chinese_novel')即可獲取訓練數據，默認每行為一條記錄。若需以章節為單位進行處理，可依據文本中的‘第X章’標題進行自定義切分，以適應不同訓練任務的需求。對於監督式微調場景，作者提供了make_dataset.py腳本，能將原始文本轉化為instruction/output問答對格式，便於開發者構建指令微調數據，從而充分發揮這部長篇小說的語料價值。

背景与挑战

背景概述

近年来，大规模语言模型在自然语言处理领域取得了突破性进展，然而高质量的长文本中文语料，尤其是繁体中文原创文学作品的匮乏，制约了模型在区域文化与创意写作上的表现。在此背景下，由作者“睡半夜怎麼三更”于近期发布的《空間魔導書與少年魔法師》数据集，提供了一部完整的160万字繁体中文奇幻轻小说，涵盖魔法、蒸汽庞克、政治斗争等多重主题，专为语言模型的预训练、微调与长文本评测而设计。该数据集借助CC0协议开放版权，鼓励学术界与工业界使用，为提升繁体中文的语感流畅度与文化适配性提供了稀缺的天然语料，对推动中文自然语言处理与创意生成研究具有重要价值。

当前挑战

该数据集所应对的领域挑战首先是繁体中文长文本语料极度稀缺，导致现有模型在生成或理解繁体中文时常出现用词生硬、文化偏差或语境断裂；此外，奇幻轻小说包含大量虚构设定、复合词汇与情节呼应的特点，对模型在连贯性、角色一致性及世界观遵循上的能力提出了更高要求。在构建过程中，作者面临确保文本完全为人类原创、无AI生成内容的挑战，以维护数据的纯净性与版权清晰度；同时，需将原生的繁中长篇小说格式化为适用于机器学习的数据结构，并提供了将原文转换为监督式微调格式的辅助脚本，以降低后续研究的使用门槛。

常用场景

经典使用场景

在自然語言處理與生成式人工智能的研究領域中，長篇且風格統一的純文本語料向來稀缺，而該數據集恰好填補了這片空白。它作為一部完整的繁體中文奇幻輕小說，提供了長達160萬字的連貫敘事文本，非常適合用於大型語言模型的預訓練、監督式微調，以及角色扮演與創意寫作任務。由於其內容完全由人類原創，且語言風格地道流暢，研究者可藉此鍛煉模型對複雜情節的建模能力、長文本的語義連貫性，以及對特定世界觀設定的理解與再現，成為評估與提升模型在中文長文本生成領域表現的經典基準。

解决学术问题

該數據集有效應對了學術界長期以來面臨的若干關鍵挑戰。首先，它解決了高質量、長篇幅且版權清晰的繁體中文語料匱乏的問題，為研究者在模型訓練中注入道地的繁體中文語感提供了可靠來源。其次，憑藉其超過200萬Tokens的規模，它為長文本建模與長距離依賴關係學習的學術難題提供了貼近真實創作場景的測試平台。此外，該數據集能夠助力研究者深入探討小樣本學習、領域適應性及敘事結構解析等核心問題，其清晰的授權條款更為學術成果的複現與比較奠定了堅實基礎，極大推動了中文自然語言處理領域的規範化進程。

衍生相关工作

圍繞此數據集，學術與工業界已發展出多項引人矚目的衍生工作。作者自主開發的「情節接龍」監督式微調格式腳本，為後續研究者提供了構建問答對與結構化指令數據的範例。以此為基礎，衍生出了用於人物性格建模的專用微調數據集、專注於世界觀知識擷取的設定集，以及作者與人工智能協同創作的對話記錄。這些衍生資源不僅促進了長文本連貫性生成技術的迭代，還催生了諸如「基於段落級別注意機制的敘事規劃」與「多角色對話中的風格遷移」等前沿課題，進一步拓寬了數據集的學術與應用邊界。