psyche/common_crawl
收藏官方服务：
资源简介：
该数据集适用于流模式，原始数据集链接为https://data.commoncrawl.org/crawl-data/CC-MAIN-2022-27/warc.paths.gz。使用该数据集需要依赖selectolax和warcio库。可以通过datasets库加载该数据集，示例代码已提供。
This dataset supports streaming mode. The original dataset link is https://data.commoncrawl.org/crawl-data/CC-MAIN-2022-27/warc.paths.gz. To utilize this dataset, the selectolax and warcio libraries are required as dependencies. This dataset can be loaded via the datasets library, and sample code is provided.
提供机构：
psyche原始信息汇总
数据集概述
数据集名称
- 数据集名称：psyche/common_crawl
数据集版本
- 版本标识："1"
数据集加载方式
- 加载方式：流式加载（streaming=True）
数据集来源
- 原始数据链接：https://data.commoncrawl.org/crawl-data/CC-MAIN-2022-27/warc.paths.gz
数据集许可证
- 许可证：Apache-2.0
数据集依赖
- 依赖工具：selectolax, warcio
搜集汇总
数据集介绍
以上内容由遇见数据集搜集并总结生成
