--- dataset_info: features: - name: text dtype: string splits: - name: train num_bytes: 5215523686 num_examples: 645987 download_size: 1995087048 dataset_size: 5215523686 confi

Hugging Face2024-05-16 更新70

FineWeb-Tokenized

自然语言处理

文本数据

这是一个经过预标记的`input_ids`数据集，基于HuggingFace的FineWeb语料库。该数据集使用自定义标记器进行预标记，以优化性能。它适用于预训练、微调或语言模型研究，基于高质量、去重和过滤的网页数据集FineWeb。

Hugging Face2025-07-27 更新50

Saibo-creator/bookcorpus_compact_1024_shard7_of_10_meta

自然语言处理

文本分析

--- dataset_info: features: - name: text dtype: string - name: concept_with_offset dtype: string - name: cid_arrangement sequence: int32 - name: schema_lengths sequence: int6

Hugging Face2023-02-02 更新90

ybracke/dtak-transnormer-basic-v1

德语拼写规范化

自然语言处理

DTAK-transnormer-basic是一个德语历史文本数据集，包含1600至1899年间出版的文本，提供每个句子的历史拼写和规范化拼写。数据集可用于训练和评估历史德语文本的规范化模型，分为训练集、验证集和测试集。

Hugging Face2025-02-12 更新50