SlimPajama-627B-Llama-tokenized
收藏魔搭社区2025-12-31 更新2024-05-15 收录
下载链接：
https://modelscope.cn/datasets/whynlp/SlimPajama-627B-Llama-tokenized
下载链接
链接失效反馈官方服务：
资源简介：
SlimPajama tokenized with Llama tokenizer.
SlimPajama数据集已通过Llama分词器（Llama Tokenizer）完成Token化处理。
提供机构：
maas创建时间：
2024-02-25
搜集汇总
数据集介绍
背景与挑战
背景概述
该数据集是经过Llama分词器处理的SlimPajama-627B版本，专用于大语言模型的预训练。数据已分词并拼接成张量，包含input_ids、attention_mask和labels字段，兼容transformers库，存储需求约800GB。
以上内容由遇见数据集搜集并总结生成
