Common Crawl Web Archive Data
收藏知名数据库2026-04-23 收录
下载链接：
https://commoncrawl.org/the-data
下载链接
链接失效反馈官方服务：
资源简介：
Common Crawl是一个大型网页存档数据库。它自2008年起定期爬取并收录了海量的原始网页数据、元数据和文本提取内容。该数据集存储在亚马逊AWS等多个公共云平台上，供公众免费访问和使用。
Common Crawl is a large-scale web archive database. Since 2008, it has been regularly crawling and archiving vast amounts of raw web data, metadata, and extracted text content. This dataset is stored on multiple public cloud platforms including Amazon AWS, and is freely accessible and usable by the public.
提供机构：
Common Crawl搜集汇总
数据集介绍
背景与挑战
背景概述
Common Crawl是一个自2008年起定期收集的大型网页存档数据库，包含PB级的原始网页数据、元数据和文本提取内容。该数据集存储在亚马逊AWS公共数据集和多个全球学术云平台上，供公众免费访问和使用。
以上内容由遇见数据集搜集并总结生成
