entirety_of_reddit

Name: entirety_of_reddit
Creator: AIWizards
Published: 2024-07-19T09:02:27+08:00

OpenCSG2024-07-19 更新2026-01-19 收录

Reddit语料库

语言模型预训练

数据链接：

https://opencsg.com/datasets/AIWizards/entirety_of_reddit?tab=summary 数据链接链接失效反馈

官方服务：

资源简介：

该仓库提供了一个2005年至2023年间的Reddit数据转储，数据规模达到2.7TB。其核心定位是为LLM和LDM研究提供丰富的数据资源。

提供机构：

AIWizards

创建时间：

2024-07-19

DISC-Law-SFT

法律智能

自然语言处理

DISC-Law-SFT数据集专注于中文法律智能系统，旨在提升法律文本理解和生成能力。它包含DISC-Law-SFT-Pair和DISC-Law-SFT-Triplet两个子集，总规模约为40万条数据，主要覆盖法律信息抽取、法律判决预测、法律文档摘要和法律问答等多种法律场景。数据来源于法律专业领域，并经过了标注处理，可用于监督微调任务，以增强模型对外部法律知识的利用能力。该数据集采用Apache-

OpenCSG2024-07-19 更新290

raj2708/wikipedia-en

英文维基百科语料

语言模型预训练

这是一个经过预处理的英文维基百科数据转储版本，基于enwiki-latest，适用于大型语言模型预训练。数据集包含约570万篇文章，总大小为38.2 GB，语言为英语，采用CC-BY-SA 4.0许可证。数据以JSON格式存储，每行代表一篇文章，包含唯一ID、来源、类型、语言、完整文章纯文本以及元数据（如URL、标题、许可证、爬取时间、质量评分、词元计数和单词计数）。该版本经过清理和预处理，便于直

Hugging Face2026-05-25 更新200

train_3.5M_CN

指令微调

对话生成

该仓库提供约350万条中文指令数据，由BELLE项目生成，适用于文本到文本生成任务。数据以对话形式组织，包含多轮和单轮对话，每个样本包括数据ID和对话内容。此外，该仓库还提供了一个带有指令类别字段的增强版本。该数据集仅限研究目的使用，禁止商业用途及其他危害社会的应用。对于因使用该数据集造成的任何损害或纠纷，该仓库不承担任何责任。

OpenCSG2024-07-19 更新140

wiki_hop

多跳问答

复杂推理问答

WikiHop数据集专注于多跳问答任务，它包含1万到10万条英文样本，并提供原始和掩码两种配置。数据集中包括问题、答案、候选答案和支持文档等字段，并带有众包和专家生成的标注信息。该数据集采用CC-BY-SA 3.0授权许可。

OpenCSG2024-07-19 更新270

BabyLM-community/BabyLM-2026-Strict-Small

语言模型预训练

文本去毒

--- license: mit --- # Detoxified 10M Strict-Small BabyLM Training Dataset (BabyLM Turns 4, 2026 BabyLM) BabyLM 2026 Strict-Small training set. Total: **10M tokens**. Please cite the following: `

Hugging Face2026-04-08 更新150

entirety_of_reddit

资源简介：

相关数据集