severo/flores_101

FLORES是一个用于机器翻译的基准数据集，特别关注英语与低资源语言之间的翻译。该数据集包含101种语言的平行句子，这些句子是从英文维基百科中提取并由专业翻译人员翻译的。数据集的设计旨在更好地评估模型在低资源语言上的表现，并支持多对多的多语言翻译系统评估。数据集的结构包括数据实例、数据字段、数据分割等信息，所有句子在多语言配置和分割中都是对齐的。

原始信息汇总

数据集概述

数据集描述

数据集摘要

FLORES 是一个用于英语和低资源语言之间机器翻译的基准数据集。该数据集包含从英语维基百科提取的 3001 个句子，涵盖了各种不同的主题和领域。这些句子通过精心控制的流程由专业翻译人员翻译成 101 种语言。该数据集旨在更好地评估模型在低资源语言上的质量，包括多对多多语言翻译系统的评估，因为所有翻译都是多语言对齐的。

支持的任务和排行榜

多语言机器翻译

请参考 Dynabench 排行榜 获取有关在 FLORES-101 上进行模型评估的更多详细信息。

语言

该数据集包含 101 种语言的平行句子，语言使用 ISO 639-3 代码标识（例如 eng、fra、rus）。

数据集结构

数据实例

以下是俄语 (rus 配置) 的 dev 分割样本。所有配置具有相同的结构，所有句子在配置和分割之间都是对齐的。

python { id: 1, sentence: В понедельник ученые из Медицинской школы Стэнфордского университета объявили об изобретении нового диагностического инструмента, который может сортировать клетки по их типу; это маленький чип, который можно напечатать, используя стандартный струйный принтер примерно за 1 цент США., URL: https://en.wikinews.org/wiki/Scientists_say_new_medical_diagnostic_chip_can_sort_cells_anywhere_with_an_inkjet, domain: wikinews, topic: health, has_image: 0, has_hyperlink: 0 }

数据字段

• id: 数据条目的行号，从 1 开始。
• sentence: 特定语言的完整句子。
• URL: 从中提取句子的英语文章的 URL。
• domain: 句子的领域。
• topic: 句子的主题。
• has_image: 原始文章是否包含图像。
• has_hyperlink: 句子是否包含超链接。

数据分割

配置	dev	devtest
所有配置	997	1012

附加信息

数据集创建者

FLORES-101 的原始作者是该数据集的创建者。如需问题或更新，请联系 [e-mail]。

许可信息

该数据集使用 Creative Commons Attribution Share Alike 4.0 许可证。许可证详情请参见 这里。

引用信息

如果您在工作中使用了这些语料库，请引用作者：

bibtex @inproceedings{flores101, title={The FLORES-101 Evaluation Benchmark for Low-Resource and Multilingual Machine Translation}, author={Goyal, Naman and Gao, Cynthia and Chaudhary, Vishrav and Chen, Peng-Jen and Wenzek, Guillaume and Ju, Da and Krishnan, Sanjana and Ranzato, MarcAurelio and Guzm{a}n, Francisco and Fan, Angela}, journal={arXiv preprint arXiv:2106.03193}, year={2021} }

搜集汇总

数据集介绍

构建方式

在机器翻译领域，低资源语言的评估基准长期面临覆盖不足、领域受限或质量欠佳等困境。FLORES 101 数据集应运而生，旨在填补这一空白。其构建过程严谨而系统：首先，从英文维基百科中精心挑选了3001个句子，这些句子横跨多样的话题与领域，确保了内容的广泛代表性。随后，这些句子被交由专业翻译人员，通过严格受控的流程翻译成101种语言，从而形成了多语言平行语料库。所有语言的翻译均实现了多语言对齐，为评估多对多翻译系统提供了独特优势。该数据集以CC-BY-SA-4.0许可发布，确保了学术与工业界的广泛可用性。

特点

FLORES 101 数据集的核心特点在于其卓越的质量与覆盖广度。作为专为低资源与多语言机器翻译设计的基准，它囊括了101种语言，涵盖从高资源到极度低资源的语种，并采用ISO 639-3代码进行标识。每个数据实例不仅包含翻译后的句子，还附带了来源URL、领域、主题、是否包含图片或超链接等丰富元数据，便于进行细粒度分析。数据集划分为dev（997句）和devtest（1012句）两个子集，所有配置间句子完全对齐，从而支持跨语言一致性的评估。这一特性使其在WMT 2021大规模多语言翻译任务中成为权威评测标杆。

使用方法

使用FLORES 101数据集进行模型评估时，研究者可通过Hugging Face Datasets库便捷加载。通过指定语言配置（如'rus'对应俄语）或使用'all'配置一次性获取所有语言的平行语料，可灵活适配研究需求。数据集支持文本生成与翻译两类任务，特别适用于多语言翻译模型的零样本或微调评估。加载后，用户可直接访问'sentence'字段获取翻译文本，并利用元数据进行领域或主题筛选。建议结合Dynabench排行榜上的标准评估流程，以复现WMT 2021共享任务中的评测结果。数据无需额外预处理，原始文本即可直接输入模型，极大简化了实验流程。

背景与挑战

背景概述

在机器翻译领域，低资源语言与多语言翻译系统的评估长期受限于高质量基准数据集的匮乏。现有基准或覆盖语言种类有限，或局限于特定领域，抑或因采用半自动构建流程而质量欠佳。为突破这一瓶颈，Facebook人工智能研究院（FAIR）于2021年发布了FLORES-101数据集，由Naman Goyal等研究人员主导构建。该数据集从英文维基百科中精心选取了3001个句子，覆盖多元主题与领域，并由专业译员通过严格流程翻译为101种语言，形成多语言平行语料。其核心研究问题在于为低资源语言及多对多翻译系统提供可靠、对齐的评估基准。FLORES-101的发布显著推动了机器翻译领域的进步，尤其在WMT2021大规模多语言翻译共享任务中成为关键评测工具，促进了全球翻译系统的公平比较与性能提升。

当前挑战

FLORES-101所面临的挑战主要体现在两个层面。在领域问题层面，机器翻译系统在低资源语言上表现欠佳，因训练数据稀缺导致模型泛化能力不足，而现有评估基准往往忽视这些语言，难以真实反映系统在长尾分布上的性能。FLORES-101通过覆盖101种语言，直接挑战了多语言翻译的鲁棒性与公平性评估难题。在数据集构建层面，挑战包括：确保3001个句子在不同语言间语义对齐且翻译质量一致，需依赖专业译员并实施严格的质量控制流程；多语言平行语料的扩展性受限，人工翻译成本高、周期长，难以快速覆盖更多语言或领域；此外，数据集的领域和主题偏向英文维基百科，可能引入特定风格偏差，影响模型在真实场景中的迁移能力。

常用场景

经典使用场景

Flores-101数据集作为机器翻译领域的多语言评估基准，其经典使用场景在于衡量从英语到101种语言（涵盖大量低资源语言）的翻译质量。该数据集包含3001句源自英语维基百科的句子，经专业翻译人员精心翻译，覆盖广泛主题与领域，确保了评估的全面性与高保真度。研究者常利用其多语言对齐特性，系统性地评估多对多翻译系统的性能，尤其聚焦于低资源语言的长尾分布，从而推动机器翻译模型在多样性语言对上的泛化能力与鲁棒性提升。

解决学术问题

该数据集精准解决了低资源与多语言机器翻译领域长期存在的评估基准匮乏问题。此前，多数基准要么低资源语言覆盖不足，要么局限于特定领域，或通过半自动流程生成导致质量参差。Flores-101通过严谨的专家翻译流程，提供了高质量、多领域、多语言对齐的平行语料，使得研究者能客观比较不同模型在低资源语言上的表现，并系统研究跨语言知识迁移、零样本翻译等核心学术议题，极大促进了多语言翻译理论的实证进展。

衍生相关工作

Flores-101催生了大量具有影响力的衍生工作。其作为WMT2021大规模多语言翻译共享任务的核心评估集，直接驱动了如mBART、M2M-100等前沿多语言翻译模型的性能突破与评测标准化。研究者还基于其多语言对齐特性，衍生出跨语言句子表示学习、语言无关语义理解等方向，例如XLM-R等预训练模型利用其数据进行微调，显著提升跨语言迁移效果。此外，该数据集启发了后续Flores-200的扩展，进一步丰富了低资源语言评估生态。