train_tokenizer_data
收藏kaggle2023-09-25 更新2024-03-11 收录
下载链接：
https://www.kaggle.com/datasets/king12138/tokenizer-data
下载链接
链接失效反馈官方服务：
资源简介：
应用场景：
创建时间：
2023-09-22
相关数据集
bilingual-tokenizer-training-data
该数据集是一个多语言文本集合，包含多种语言和文字组合的配置（如拉丁字母书写的南非荷兰语、埃塞俄比亚字母书写的阿姆哈拉语等）。每个配置包含一个字符串类型的'text'字段，所有数据均为'train'分割。数据集提供了每个语言子集（通常每个语言有3个子集）的精确字节大小、样本数量、下载大小和数据集大小。技术规格完整，但未说明数据收集目的、方法或内容特征。
Hugging Face2026-02-10 更新30
andersonbcdefg/bert-long-training-data-tokenized
--- dataset_info: features: - name: input_ids sequence: int32 - name: attention_mask sequence: int8 - name: token_type_ids sequence: int8 splits: - name: train num_bytes: 1
Hugging Face2024-05-25 更新30
ai_training_tokenized_dataset
该数据集包含整数编码的序列数据，总共包含137,241个训练样本，数据集大小为960,138,036字节。数据集分为训练集，可通过默认配置访问。
Hugging Face2025-03-06 更新00
catherinearnett/bilingual-tokenizer-training-data
--- dataset_info: - config_name: afr_Latn_subset_1 features: - name: text dtype: string splits: - name: train num_bytes: 524687226 num_examples: 133023 download_size: 319847528
Hugging Face2026-02-21 更新30
tokenized_train_t
kaggle2023-06-06 更新00
