NyxKrage/uncyclopedia-dump

该数据集是截至2024年2月13日的Uncyclopedia（非百科全书）的转储。包含主要文件（最新修订版的parquet文件，经过轻微清理并转换为markdown格式）、清理后的文件（包括所有修订版和转换为markdown的最新修订版）、脚本（用于解析原始xml转储为HuggingFace数据集兼容格式的脚本和清理笔记本）以及源文件（原始xml转储和其他由mediawiki-dump-generator生成的文件）。原始转储超过50GB，已分割成多个部分，可以使用`cat`命令重新组合。转换后的文本约为3500万个词，但建议在使用前进行更彻底的清理。Uncyclopedia包含大量“边缘”/种族主义内容。

原始信息汇总

Uncyclopedia Dump 数据集概述

数据集信息

• 许可证: cc
• 语言: 英语
• 标签: not-for-all-audiences
• 名称: Uncyclopedia Dump
• 大小类别: 10K<n<100K

数据内容

• main: 包含最新修订版本的parquet文件，经过轻微清理并转换为markdown格式。
• cleaned: 包含所有修订版本及最新修订版本的markdown转换结果的parquet文件。
• scripts: 用于解析原始xml dump并转换为huggingface datasets兼容格式的脚本，以及用于清理数据的notebook。
• source: 原始xml dump及其他由mediawiki-dump-generator生成的文件。

注意事项

• 下载方式: 不要使用GIT LFS下载文件，建议使用huggingface-cli。
• 原始dump大小: 超过50GB，已分割成多个部分，可以使用cat命令重新组合。
• 转换文本大小: 约35M tokens，建议在使用前进行更彻底的数据清理。
• 内容警告: Uncyclopedia包含大量“边缘”/种族主义内容。

搜集汇总

数据集介绍

构建方式

Uncyclopedia Dump数据集源自对Uncyclopedia网站（一个以幽默和讽刺著称的维基类平台）的内容抓取。构建过程始于2024年2月13日的原始XML转储，该原始数据超过50GB并被分割为多个部分。随后，通过配套脚本对原始XML进行解析，提取出最新修订版本的内容，并进行轻度清洗与Markdown格式转换。数据集以Parquet文件格式存储，主要分支仅包含最新修订版本，而cleaned分支则囊括所有修订历史。此外，还提供了用于解析和清洗的完整脚本，确保构建过程可复现。

特点

该数据集的核心特点在于其来源的独特性和内容的非传统性。Uncyclopedia以“不严肃”和“边缘化”内容著称，包含大量讽刺、恶搞乃至带有冒犯性的文本，因此数据集被标记为“not-for-all-audiences”。其规模约为35M tokens，包含10K至100K个条目，属于中等规模。值得注意的是，数据集虽经初步清洗，但仍建议用户在使用前进行更彻底的过滤，以应对其中可能存在的种族歧视或其他敏感内容。

使用方法

使用该数据集时，推荐通过Hugging Face CLI而非Git LFS进行下载，以避免因分支切换导致约70GB的不必要数据下载。用户可通过datasets库直接加载Parquet文件，选择main或cleaned分支。由于内容敏感性，建议在自然语言处理任务（如文本生成或风格迁移）中谨慎应用，并搭配额外的清洗步骤。配套的清洗脚本（cleaning notebook）可帮助用户定制化处理数据，确保符合研究或应用的伦理标准。

背景与挑战

背景概述

Uncyclopedia（伪基百科）作为维基百科的恶搞镜像，自2005年创立以来，以其戏仿、讽刺与荒诞内容在全球网络亚文化中占据独特地位。该数据集由研究者NyxKrage于2024年2月13日创建，旨在系统化捕获这一非传统知识库的文本特征，为自然语言处理领域中的幽默生成、讽刺检测及反事实推理等前沿问题提供训练资源。其核心研究价值在于：通过解析恶搞文本的语义扭曲与逻辑悖论，探索模型对非严肃语境的理解边界。数据集收录了超过10万篇条目，涵盖完整修订历史与Markdown转换版本，为计算幽默学与网络语言学提供了稀缺的标注语料，对推动大语言模型在创意写作与情感对抗领域的鲁棒性研究具有潜在影响力。

当前挑战

该数据集面临多重挑战。首先，恶搞文本天然携带的冒犯性与边缘化内容（如种族歧视性调侃）构成伦理风险，需在保留数据原真性与过滤有害信息间取得平衡，这直接挑战了现有数据清洗框架的适应能力。其次，构建过程中，原始XML转储超过50GB，需分割重组并借助Hugging Face CLI而非Git LFS传输以避免冗余下载，暴露出大规模非结构化数据在分布式存储与版本控制上的工程瓶颈。此外，文本中密集的戏仿性隐喻与跨文化梗引用，使得传统基于字面意义的去重与规范化方法失效，进一步加剧了语义层面数据处理的复杂性。

常用场景

经典使用场景

Uncyclopedia Dump 数据集汇聚了来自非百科全书平台 Uncyclopedia 的维基文本转储，涵盖截至2024年2月的最新修订版本及其历史记录。该数据集最经典的使用场景在于为自然语言处理领域提供极具挑战性的语料来源，尤其适用于训练和评估模型对讽刺、戏仿及非正式语言的理解能力。由于其内容常包含边缘性、种族主义或黑色幽默元素，该数据集成为研究网络语言毒性检测、反讽识别及文化敏感内容过滤的独特基准。研究者可借助此数据探索模型在非标准语境下的泛化表现，推动语言理解技术向更复杂、更真实的网络环境迈进。

实际应用

在实际应用中，Uncyclopedia Dump 被广泛用于开发内容审核工具和社交媒体监控系统。通过训练模型识别该数据集中的尖锐讽刺和冒犯性语言，企业能够增强其平台对恶意内容的自动过滤能力，例如在评论区或论坛中标记潜在有害言论。此外，该数据还支持教育科技领域，用于构建幽默理解模块，辅助学生辨析语言中的隐喻与反语。在娱乐行业，它可被整合进聊天机器人或游戏角色对话系统，以生成更具人性化色彩的戏谑回应。这些应用凸显了数据集在平衡表达自由与内容安全方面的实用价值。

衍生相关工作

基于 Uncyclopedia Dump 衍生出的经典工作包括讽刺检测模型（如 Sarcasm-BERT）的微调版本，以及针对黑幽默分类的对抗性训练框架。研究者利用该数据集改进了毒性评分算法，提出了一系列跨领域迁移学习方案，使模型在维基百科、社交媒体等平台上的表现显著提升。此外，该数据还催生了针对语言模型伦理审计的基准测试集，例如 Uncyc-ToxicityBench，用于评估AI系统对边缘化群体言论的敏感性。这些工作不仅深化了对非标准语料的理解，还推动了负责任AI的发展，成为计算语言学与伦理交叉研究的重要基石。