A corpus of web crawl data composed of over 25 billion web pages.

SSH Open MarketPlace2025-01-30 更新160

Common Crawl是一个大型网页存档数据库。它自2008年起定期爬取并收录了海量的原始网页数据、元数据和文本提取内容。该数据集存储在亚马逊AWS等多个公共云平台上，供公众免费访问和使用。

知名数据库1250

该数据集包含三个不同大小的JSON文件，分别包含8k、26k和512条记录。每条记录包括问题、答案、参考信息、完整参考、链接、难度、问题类型和话题等字段。数据集主要包含与问题相关的信息，适用于问题回答、知识检索等NLP任务。

Hugging Face2025-08-07 更新30