openwebtext小数据集
收藏官方服务:
资源简介:
rwkv训练可以用这个小数据集,原始数据集108G,不适合普通人训练。
This small dataset can be used for RWKV training. The original dataset has a size of 108 GB, which is not suitable for ordinary individuals to conduct model training.
提供机构:
maas创建时间:
2023-08-03
搜集汇总
数据集介绍

背景与挑战
背景概述
该数据集是Open WebText的Beta版本,为OpenAI WebText数据集的开源复现项目,由Brown University研究人员创建,并由mapjack缩减成一个小型版本。它主要用于文本生成和问题生成任务,语言为中文,采用Apache License 2.0许可证,大小为22.58GB。
以上内容由遇见数据集搜集并总结生成



