datatrove-tests
收藏官方服务:
资源简介:
Datasets used for datatrove testing. Each split contains the same data: ``` dst = [ {"text": "hello"}, {"text": "world"}, {"text": "how"}, {"text": "are"}, {"text": "you"}, ] ``` But based on the split name the data are sharded into n-bins
用于datatrove测试的数据集。 每个拆分(split)均包含完全一致的数据: dst = [ {"text": "hello"}, {"text": "world"}, {"text": "how"}, {"text": "are"}, {"text": "you"}, ] 但依据拆分名称,数据会被切分为n个分箱(bins)。
提供机构:
maas创建时间:
2025-03-12
搜集汇总
数据集介绍

背景与挑战
背景概述
该数据集专为datatrove测试设计,包含相同文本数据但根据分割名称进行分片处理。它采用Apache 2.0许可证,更新于2025年3月12日,数据以简洁的字典格式存储。
以上内容由遇见数据集搜集并总结生成



