BEE-spoke-data/code-tutorials-en

该数据集包含两个配置：default和unfiltered，每个配置都有不同的数据文件路径和特征。特征包括文本、URL、dump、来源、单词数和Flesch阅读易度。数据集主要用于文本生成任务，语言为英语，大小类别为100K<n<1M。此外，数据集仅包含英语内容，每篇文章至少有100个单词，且阅读易度不低于50。

This dataset comprises two configurations: default and unfiltered, each featuring distinct data file paths and features. The features include text, URL, dump, source, word count, and Flesch Reading Ease. This dataset is primarily designed for text generation tasks, uses English as its exclusive language, and falls into the size category of 100K < n < 1M. Additionally, the dataset only contains English content, with each article having at least 100 words and a Flesch Reading Ease score no lower than 50.

原始信息汇总

数据集概述

配置信息

• 默认配置 (default)

  • 数据文件路径
    • 训练集: data/train-*
    • 验证集: data/validation-*
    • 测试集: data/test-*
  • 特征信息
    • text: 字符串
    • url: 字符串
    • dump: 字符串
    • source: 字符串
    • word_count: 整数 (int64)
    • flesch_reading_ease: 浮点数 (float64)
  • 数据分割
    • 训练集: 223162个样本, 2003343392.8658142字节
    • 验证集: 5873个样本, 52722397.8378977字节
    • 测试集: 5873个样本, 52722397.8378977字节
  • 数据大小
    • 下载大小: 1137457027字节
    • 数据集大小: 2108788188.5416098字节

• 未过滤配置 (unfiltered)

  • 数据文件路径
    • 训练集: unfiltered/train-*
  • 特征信息
    • text: 字符串
    • url: 字符串
    • dump: 字符串
    • source: 字符串
    • word_count: 整数 (int64)
    • flesch_reading_ease: 浮点数 (float64)
  • 数据分割
    • 训练集: 384646个样本, 3452998372字节
  • 数据大小
    • 下载大小: 1859375824字节
    • 数据集大小: 3452998372字节

数据集来源

• 来源: mponty/code_tutorials
• 许可证: odc-by

任务类别

• 文本生成

语言

• 英语 (en)

数据集大小类别

• 100K<n<1M