MADLAD-400

MADLAD-400（Multilingual Audited Dataset：Low-resource And Document-level）是基于Common Crawl的文档级多语言数据集，共覆盖419种语言。这使用了截至 2022 年 8 月 1 日可用的 CommonCrawl 的所有快照。与类似数据集相比，该数据集的主要优点是它更加多语言（419 种语言）、经过审核和更严格的过滤，并且是文档级的。主要缺点也是它的优势——过滤程度更高，可能缺乏某些应用程序所需的召回功能。

MADLAD-400 (Multilingual Audited Dataset: Low-resource And Document-level) is a document-level multilingual dataset built upon Common Crawl, covering a total of 419 languages. It leverages all Common Crawl snapshots available as of August 1, 2022. Compared with similar datasets, the key advantages of this dataset are its broader multilingual coverage (419 languages), rigorous auditing, stricter filtering, and document-level structure. Its primary drawback, however, stems from this same strength: the high degree of filtering may lead to insufficient recall required by certain applications.

搜集汇总

背景与挑战

背景概述

MADLAD-400是一个基于Common Crawl构建的文档级多语言数据集，覆盖了419种语言，并经过审核和高度过滤处理。其主要优势在于多语言支持和文档级结构，但过滤过程可能导致某些应用中的召回率不足。该数据集由Google Research于2023年9月发布。