MassiveDS-1.4T

MassiveDS提供原始段落、嵌入和索引数据，包含1.4T和140B两种规模的数据集版本。其中，MassiveDS-1.4T包含嵌入和段落数据，MassiveDS-140B则包含索引、嵌入、段落和原始文本。数据以JSONL格式存储，段落经过分块处理，每个段落不超过256个单词，嵌入使用Contriever-MSMACRO编码。该数据集支持信息检索相关任务，并采用MIT许可。用户可以使用Git LFS下载数据，并参考GitHub仓库获取详细使用方法。