thewordsmiths/wiki_stem

---
license: mit
dataset_info:
- config_name: default
features:
- name: content_id
dtype: string
- name: page_title
dtype: string
- name: section_title
dtype: string
- name: breadcrumb
dtype: string
- name: text
dtype: string
splits:
- name: train
num_bytes: 2530263740
num_examples: 4133298
download_size: 1428562929
dataset_size: 2530263740
- config_name: subsample_619014chunks
features:
- name: content_id
dtype: string
- name: page_title
dtype: string
- name: section_title
dtype: string
- name: breadcrumb
dtype: string
- name: text
dtype: string
splits:
- name: train
num_bytes: 380285790
num_examples: 619014
download_size: 227918580
dataset_size: 380285790
- config_name: subsample_721504chunks
features:
- name: content_id
dtype: string
- name: page_title
dtype: string
- name: section_title
dtype: string
- name: breadcrumb
dtype: string
- name: text
dtype: string
splits:
- name: train
num_bytes: 436678854
num_examples: 721504
download_size: 261153014
dataset_size: 436678854
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- config_name: subsample_619014chunks
data_files:
- split: train
path: subsample_619014chunks/train-*
- config_name: subsample_721504chunks
data_files:
- split: train
path: subsample_721504chunks/train-*
---

许可证：MIT许可证
数据集信息：
- 配置名称：default
特征字段：
- 内容ID（content_id）：数据类型：字符串
- 页面标题（page_title）：数据类型：字符串
- 章节标题（section_title）：数据类型：字符串
- 面包屑导航（breadcrumb）：数据类型：字符串
- 文本（text）：数据类型：字符串
数据拆分：
- 名称：train（训练集）
字节数：2530263740
样本数量：4133298
下载大小：1428562929
数据集总大小：2530263740
- 配置名称：subsample_619014chunks
特征字段：
- 内容ID（content_id）：数据类型：字符串
- 页面标题（page_title）：数据类型：字符串
- 章节标题（section_title）：数据类型：字符串
- 面包屑导航（breadcrumb）：数据类型：字符串
- 文本（text）：数据类型：字符串
数据拆分：
- 名称：train（训练集）
字节数：380285790
样本数量：619014
下载大小：227918580
数据集总大小：380285790
- 配置名称：subsample_721504chunks
特征字段：
- 内容ID（content_id）：数据类型：字符串
- 页面标题（page_title）：数据类型：字符串
- 章节标题（section_title）：数据类型：字符串
- 面包屑导航（breadcrumb）：数据类型：字符串
- 文本（text）：数据类型：字符串
数据拆分：
- 名称：train（训练集）
字节数：436678854
样本数量：721504
下载大小：261153014
数据集总大小：436678854
配置项：
- 配置名称：default
数据文件：
- 数据拆分：train（训练集）
路径：data/train-*
- 配置名称：subsample_619014chunks
数据文件：
- 数据拆分：train（训练集）
路径：subsample_619014chunks/train-*
- 配置名称：subsample_721504chunks
数据文件：
- 数据拆分：train（训练集）
路径：subsample_721504chunks/train-*

原始信息汇总

数据集概述

配置信息

默认配置

• 配置名称: default
• 特征:
  • content_id: 字符串
  • page_title: 字符串
  • section_title: 字符串
  • breadcrumb: 字符串
  • text: 字符串
• 分割:
  • 训练集:
    • 字节数: 2530263740
    • 示例数: 4133298
• 下载大小: 1428562929
• 数据集大小: 2530263740

subsample_619014chunks配置

• 配置名称: subsample_619014chunks
• 特征:
  • content_id: 字符串
  • page_title: 字符串
  • section_title: 字符串
  • breadcrumb: 字符串
  • text: 字符串
• 分割:
  • 训练集:
    • 字节数: 380285790
    • 示例数: 619014
• 下载大小: 227918580
• 数据集大小: 380285790

subsample_721504chunks配置

• 配置名称: subsample_721504chunks
• 特征:
  • content_id: 字符串
  • page_title: 字符串
  • section_title: 字符串
  • breadcrumb: 字符串
  • text: 字符串
• 分割:
  • 训练集:
    • 字节数: 436678854
    • 示例数: 721504
• 下载大小: 261153014
• 数据集大小: 436678854

数据文件路径

默认配置

• 训练集路径: data/train-*

subsample_619014chunks配置

• 训练集路径: subsample_619014chunks/train-*

subsample_721504chunks配置

• 训练集路径: subsample_721504chunks/train-*