pszemraj/simple_wikipedia_LM

该数据集是pszemraj/simple_wikipedia的过滤/编辑版本，移除了文本列中出现的标题/内容，这些标题/内容在没有相关文本的情况下出现。数据集包含两个配置：default和original，每个配置都有训练、验证和测试三个分割。数据集的特征包括id、url、title和text。

This dataset is a filtered and edited version of the pszemraj/simple_wikipedia dataset, where any headings or content entries appearing in the text column without corresponding relevant text have been removed. The dataset includes two configurations: "default" and "original", each with training, validation, and test splits. The dataset features include id, url, title, and text.

原始信息汇总

数据集概述

基本信息

• 语言: 英语
• 许可: Apache 2.0
• 数据集大小: 100K<n<1M
• 源数据集: pszemraj/simple_wikipedia
• 任务类别:
  • 文本生成
  • 填充掩码

配置详情

默认配置

• 配置名称: default
• 数据文件:
  • 训练集: data/train-*
  • 验证集: data/validation-*
  • 测试集: data/test-*
• 特征:
  • id: 字符串
  • url: 字符串
  • title: 字符串
  • text: 字符串
• 分割:
  • 训练集: 225984个样本, 226591788.10427773字节
  • 验证集: 5949个样本, 6317396.37117904字节
  • 测试集: 5943个样本, 5759121.344138394字节
• 下载大小: 138897596字节
• 数据集大小: 238668305.81959516字节

原始配置

• 配置名称: original
• 数据文件:
  • 训练集: original/train-*
  • 验证集: original/validation-*
  • 测试集: original/test-*
• 特征:
  • id: 字符串
  • url: 字符串
  • title: 字符串
  • text: 字符串
• 分割:
  • 训练集: 226242个样本, 248051733字节
  • 验证集: 5954个样本, 6910685字节
  • 测试集: 5954个样本, 6359625字节
• 下载大小: 152618788字节
• 数据集大小: 261322043字节