victorarizz/minipile-splitted-csv

Name: victorarizz/minipile-splitted-csv
Creator: victorarizz
Published: 2024-07-06 01:26:28
License: 暂无描述

Hugging Face2024-07-06 更新2024-07-06 收录

下载链接：

https://hf-mirror.com/datasets/victorarizz/minipile-splitted-csv

下载链接

链接失效反馈

官方服务：

资源简介：

--- license: mit ---

提供机构：

victorarizz

原始信息汇总

数据集概述

许可证

许可证类型: MIT

victorarizz/minipile-tokenized-llama3

这是使用Llama3分词器对JeanKaddour/minipile数据集进行预分词处理的版本。数据集包含152,813个训练样本，总大小为5,007,987,636字节。分词过程使用了SAELens工具，上下文大小为8192，数据被打乱顺序，开始批处理标记为bos，开始序列标记为无，序列分隔符标记为eos。

Hugging Face2024-07-08 更新40

nickypro/minipile-split

该数据集是armelrs数据集的一个较小版本，该数据集是The Pile数据集的一个分割版本。这个版本的特点包括包含训练集和测试集、易于下载（约2.3GB）以及可以选择文本分割。

Hugging Face2024-07-18 更新170

khaled123/modifieggd_minipile_splits

该数据集包含文本、时间戳和URL三个主要特征。数据集被分为训练集、验证集和测试集，其中训练集包含1,000,000个样本，验证集包含500个样本，测试集包含10,000个样本。数据集的总下载大小为3,188,754,023字节，总数据集大小为6,034,139,087字节。数据文件的路径分别为data/train-*、data/validation-*和data/test-*。

Hugging Face2024-08-01 更新50

victorarizz/minipile-tokenized-llama3-128

该数据集包含整数序列特征，适用于机器学习模型的训练。它有一个训练集，大小为6108119040字节，包含11837440个样本。数据集的总下载大小为3769254391字节。

Hugging Face2024-07-13 更新30

khaled123/modified_minipile_splits

该数据集包含文本、时间戳和链接三个特征，分为训练集、验证集和测试集三个部分。训练集包含1000000个样本，验证集包含500个样本，测试集包含10000个样本。数据集的总下载大小为3188754023字节，总数据集大小为6034139087字节。

Hugging Face2024-08-01 更新90