Tokenized_Corpus

kaggle2018-10-18 更新2024-03-08 收录

下载链接：

https://www.kaggle.com/datasets/kaushal9898/tokenized-corpus

下载链接

链接失效反馈

官方服务：

资源简介：

创建时间：

2018-10-18

tokenized-corpus-0603

该数据集是一个经过分词处理的语料库，包含77个训练分片。每个样本包含两个特征：input_ids（int32序列）和attention_mask（int32序列）。根据统计，每个分片平均包含约6500万 tokens，平均每个样本约260 tokens，中位数约213-214 tokens。数据以分片形式存储，路径格式为data/train-*。该数据集适用于需要大规模分词文本数据的自然语言处理任

Hugging Face2026-03-07 更新60

Tokenized OFAI Million Post Corpus

This corpus is based on the Million Post Corpus created by the OFAI. It contains the tokenized comments and articles in plain text without association of comments to their articles. The text has been

DataCite Commons2024-08-06 更新50

nicholasKluge/Pt-Corpus-tokenized

该数据集是使用TeenyTinyLlama tokenizer对Portuguese-Corpus数据集进行分词后的版本，所有序列长度为2048个token。该数据集用于训练巴西葡萄牙语的微型语言模型。数据集包含input_ids、attention_mask和labels三个特征，分别表示token序列、填充位置的二进制张量和标签序列。数据集分为train和test两个部分，分别包含约200万和

Hugging Face2024-06-18 更新90

indic_tokenizer_corpus

Multilingual Indic corpus for training LLMs with Hindi, Tamil, Telugu Hinglish

kaggle2026-04-13 更新10

umarigan/turkish_corpus_tokenized

--- configs: - config_name: default data_files: - split: train path: data/train-* - split: valid path: data/valid-* dataset_info: features: - name: input_ids sequence: int32 sp

Hugging Face2023-10-06 更新30