Japanese Wikipedia 20221001 TFRecord

kaggle2022-10-18 更新2024-03-07 收录

下载链接：

https://www.kaggle.com/datasets/akihirok/japanese-wikipedia-20221001-tfrecord

下载链接

链接失效反馈

官方服务：

资源简介：

jawiki-20221001 preprocessed by WikiExtractor

创建时间：

2022-10-18

Japanese Wikipedia 20221001 DeBERTaV3 TFRecord

jawiki-20221001 preprocessed by WikiExtractor and DeBERTaV3 tokenizer

kaggle2022-10-24 更新70

olm/olm-wikipedia-20221001

OLM October 2022 Wikipedia数据集是一个预训练数据集，基于2022年10月的Wikipedia快照创建。该数据集没有人工注释，语言为英语，且是单语言的。数据集的大小在1百万到1千万之间，主要用于语言建模和预训练任务。

Hugging Face2022-10-18 更新80

Japanese Wikipedia dataset

This dataset is for the definition modeling task which is a task to generate definitions for phrases. Each entry in .txt contains a phrase to be defined and its definition. 人工衛星%wiki.0 pos w

NIAID Data Ecosystem40

Wikipedia-TFRecords

Wikipedia-TFRecords数据集包含了使用GPT2分词器分词的维基百科文章，并以TFRecord格式存储。该数据集针对变压器的可扩展预训练和微调进行了优化，适用于高性能训练。数据集的最大序列长度为512，包含'input_ids'和'labels'等特征，并且被分成了多个带有大约10万个示例的分片文件。

Hugging Face2025-06-12 更新00

Japanese Wikipedia dataset

This dataset is for the definition modeling task which is a task to generate definitions for phrases. Each entry in .txt contains a phrase to be defined and its definition. 人工衛星%wiki.0 pos wikidata 地球

Zenodo2021-09-17 更新00