MADLAD-400

该数据集是一个经过人工审核的大规模多语言语料库，涵盖了419种语言，基于CommonCrawl的数据。在预训练过程中，我们使用了这个语料库的清洁版本，任务是进行语言模型的预训练。

This is a manually curated large-scale multilingual corpus encompassing 419 distinct languages, built upon CommonCrawl data. We utilized the cleaned version of this corpus for language model pre-training.

搜集汇总

数据集介绍

构建方式

MADLAD-400的构建始于对CommonCrawl全部快照的采集，并经过初步去重与启发式过滤。随后，研究团队训练了一个覆盖498种语言的半监督文档级语言识别模型，为海量网页文本赋予语言标签，形成了初步的5万亿词元语料库。在此基础上，通过细致的自我审计流程，针对每个语言分区进行质量评估，剔除了79种低质量语言，并设计了包括异常字符、不良内容及特定语言编码（如Zawgyi）在内的多重过滤器，最终精炼出一个涵盖419种语言、约3万亿词元的清洁版数据集。

特点

该数据集的核心特点在于其空前的语言覆盖广度与严格的文档级质量控制。MADLAD-400横跨419种语言，地理分布极为多元，囊括了众多资源匮乏的语言。相较于以往的多语言语料库，它通过人工审计与针对性过滤，显著降低了噪声与不当内容，特别是对低资源语言中常见的宗教文本偏斜、编码错误及淫秽内容进行了有效校正。数据集同时提供噪声版与清洁版，为不同研究需求提供了灵活性。

使用方法

MADLAD-400的设计支持多种使用方式。研究者可直接获取文档级或句子级的清洁文本，用于预训练多语言语言模型或机器翻译模型。论文展示了其应用潜力：通过联合使用该语料库与公开的平行语料，训练了从3B到10.7B参数不等的翻译模型，并在WMT、Flores-200等基准上取得了与更大规模模型相竞争的性能。此外，该数据集也可用于训练仅依赖单语数据的解码器模型，并通过少样本提示进行翻译任务，为低资源语言研究提供了宝贵资源。

背景与挑战

背景概述

大规模多语言语料库的可用性极大地推动了多语言自然语言处理领域的发展。然而，现有公开的通用多语言语料库通常仅涵盖100至200种语言，且多局限于特定领域。为弥补这一不足，Google DeepMind与Google Research的研究团队于2023年推出了MADLAD-400数据集。该数据集基于CommonCrawl构建，通过文档级语言识别模型进行标注，并经过严格的人工审计与过滤，最终形成了一个涵盖419种语言、包含约3万亿词元的高质量单语语料库。其核心研究问题在于如何从海量、嘈杂的网络文本中，为众多语言（尤其是低资源语言）创建可靠且可用的训练数据，从而推动多语言机器翻译和语言建模等任务的进步。MADLAD-400的发布，为研究社区提供了一个极具价值的资源，有望显著促进对语言多样性的包容性研究。

当前挑战

MADLAD-400数据集所面临的挑战主要体现在两个方面。首先，在领域问题层面，它旨在解决多语言自然语言处理中数据稀缺与质量参差不齐的难题。从嘈杂的通用网络爬取数据中，为数百种语言（包括大量低资源语言）提取出干净、可用的文本，其本身就是一个巨大的挑战，尤其是在语言识别、噪声过滤和有害内容剔除方面。其次，在构建过程中，团队遇到了诸多具体困难：1）语言识别模型的精度问题，导致部分语言的数据被错误标注；2）数据中充斥着大量噪声，如机器翻译文本、渲染错误的字符（如梵文字符的Virama问题）以及色情内容等；3）针对不同语言，需要开发并应用定制化的过滤规则，例如针对缅甸语的Zawgyi编码转换和针对中文的色情内容过滤列表；4）人工审计过程依赖于非母语者，难以全面识别所有类型的噪声，且缺乏适用于所有419种语言的通用毒性检测工具。这些挑战共同构成了构建一个高质量、高覆盖度多语言数据集的核心障碍。

常用场景

经典使用场景

在自然语言处理领域，大规模多语言语料库的匮乏长期制约着低资源语言技术的发展。MADLAD-400作为一项涵盖419种语言、经过人工审计的文档级单语数据集，为多语言机器翻译和语言模型研究提供了坚实的数据基石。其最经典的使用场景在于训练大规模多语言神经机器翻译模型，研究者可基于该数据集构建编码器-解码器架构，通过联合监督学习和去噪自编码目标，在超过450种语言上实现高效翻译。此外，该数据集还支持零样本和少样本翻译实验，为探索语言模型在缺乏平行语料场景下的跨语言迁移能力提供了理想的实验平台。

解决学术问题

MADLAD-400的发布有效回应了多语言NLP研究中长期存在的几个关键学术难题。其一，它大幅拓展了可公开获取的高质量多语言语料库的语言覆盖范围，从常规的100-200种语言跃升至419种，显著缓解了低资源语言因数据匮乏而难以参与大规模预训练的困境。其二，该数据集通过严谨的自审计流程揭示了网络爬取语料中普遍存在的噪声问题——包括语言标签错误、宗教文本偏斜、渲染异常等，并开发了针对性的过滤策略，为学界提供了可复现的数据清洗方法论。其三，基于该数据集训练的模型在WMT、Flores-200等权威基准上展现出与规模大五倍的NLLB-54B模型相竞争的翻译性能，有力论证了数据质量对模型效能的深远影响。

衍生相关工作

MADLAD-400的发布催生了多项具有影响力的衍生工作。该数据集直接支撑了其论文中发布的10.7B参数多语言机器翻译模型和8B参数语言模型，这些模型作为基线系统为后续研究提供了重要的性能参考。在数据方法论层面，其自审计流程和过滤策略启发了后续大规模语料库构建中对质量控制的更严格追求，推动了如Glot500-C等更大规模多语言语料库的审计标准完善。此外，该数据集中嵌入的记忆化测试金丝雀（canaries）为研究多语言模型中的训练数据提取风险提供了分析工具，相关方法已被后续工作借鉴以评估和缓解模型的安全隐患。