fineweb-edu-10BT-shuffled-for-gpt2

kaggle2024-07-26 更新2024-08-24 收录

自然语言处理

预训练模型

数据链接：

https://www.kaggle.com/datasets/minhthiennguyen/fineweb-edu-10bt-shuffled 数据链接链接失效反馈

官方服务：

资源简介：

Tokenized Fineweb-edu (10BT, shuffled version) for pre-training GPT2 model.

针对 GPT2 模型预训练的，经过 Tokenized 处理的 Fineweb-edu 数据集（10BT，已打乱顺序）

创建时间：

2024-07-25

Magpie-Align/Magpie-Reasoning-150K

自然语言处理

模型推理

该数据集由Qwen2-72B-Instruct和Llama 3 70B Instruct模型通过Magpie方法生成，旨在通过高质量的指令-响应对增强模型的推理能力。数据集包含150,000个训练样本，主要涉及推理、数学、编码和调试等任务类别，且所有数据均为英文。数据集的生成和选择过程中，考虑了输入质量、难度、任务类别、指令奖励等多个因素，并去除了重复和不完整的指令。

Hugging Face2024-07-22 更新870

Sindhi语言大型语料库

Sindhi语

自然语言处理

本研究为资源匮乏的Sindhi语言开发了一个包含超过6100万单词的大型语料库。该语料库通过网络爬虫从多个网络资源中收集，并经过精心预处理以过滤噪声文本。语料库的创建解决了Sindhi语言在自然语言处理（NLP）领域缺乏大规模未标注语料的问题，为训练神经词嵌入提供了基础。此外，本研究还利用了GloVe、Skip-Gram和Continuous Bag of Words等先进的词2vec算法来生成S

arXiv2020-12-30 更新160

freococo/myanmar-written-corpus

缅甸语

自然语言处理

缅甸书面语料库是一个包含高质量缅甸书面文本的全面集合，用于支持缅甸自然语言处理（NLP）的研究和开发。该语料库包含1000万句文本，采用Parquet格式，并遵循CC0 1.0许可协议。它适用于训练NLP模型、文本转语音、自动语音识别、机器翻译和文本生成等多种应用。

Hugging Face2025-05-22 更新70

Thanmay/xquad-hi

跨语言问答评估

自然语言处理

该数据集包含多个特征，如id、标题、上下文、问题、答案、答案起始位置、类别、聚类、最近聚类和最近页面。这些特征以不同的数据类型存储，包括字符串、整数序列和结构化数据。数据集仅包含一个验证集，大小为36745196字节，包含1190个示例。数据集的下载大小为1189437字节。

Hugging Face2024-06-28 更新190

Text-to-SQL Dataset