rojagtap/bookcorpus

Name: rojagtap/bookcorpus
Creator: rojagtap
Published: 2023-07-30 09:45:58
License: 暂无描述

Hugging Face2023-07-30 更新2024-03-04 收录

下载链接：

https://hf-mirror.com/datasets/rojagtap/bookcorpus

下载链接

链接失效反馈

官方服务：

资源简介：

--- license: mit ---

提供机构：

rojagtap

原始信息汇总

数据集概述

许可证信息

许可证类型：MIT

rojagtap/tech-qa

--- license: mit ---

Hugging Face2023-08-22 更新20

rojagtap/ubuntu_dialogs_corpus

--- license: mit --- https://github.com/rkadlec/ubuntu-ranking-dataset-creator#readme

Hugging Face2023-08-22 更新40

bookcorpus

BookCorpus主要用于文本生成和填充掩码任务。它包含从Smashwords网站抓取的超过7000本英文书籍的文本数据，总大小约为4.85GB。这些书籍最初由作者在Smashwords上自行发布，并按流派进行分类，但数据集本身没有提供明确的标注信息。BookCorpus主要用于非监督训练，但存在数据重复、版权问题和抽样偏差等局限性，使用时需要谨慎。数据集的使用需遵循Smashwords的服务条

OpenCSG2024-07-19 更新210

bookcorpus/bookcorpus

BookCorpus数据集是一个包含大量英文书籍文本的语料库，主要用于文本生成和掩码语言建模任务。数据集来源于smashwords.com上的自出版书籍，经过处理后生成了包含书籍全文的文本文件。数据集的大小为4.85 GB，包含74004228个训练样本。数据集的创建目的是为了提供丰富的文本信息，用于训练AI系统。然而，数据集的收集和处理过程中存在一些伦理问题，如作者未被告知其作品被用于AI训练，

Hugging Face2024-05-03 更新2660

rojagtap/natural_questions_clean

--- license: mit task_categories: - question-answering - text-generation - text2text-generation language: - en tags: - natural-questions - question-answering - text-generation - text2text pretty_name:

Hugging Face2023-08-22 更新190