Helsinki-NLP/un_pc

联合国平行语料库是首个由联合国原始数据创建者发布的平行语料库，包含过去25年（1990年至2014年）联合国官方语言（阿拉伯语、中文、英语、法语、俄语和西班牙语）的手动翻译文档。该语料库免费提供下载，适用于机器翻译任务。

The United Nations Parallel Corpus is the first parallel corpus released by the creators of the original United Nations data. It contains manually translated documents in the six official United Nations languages (Arabic, Chinese, English, French, Russian and Spanish) spanning the 25-year period from 1990 to 2014. This corpus is freely available for download and suitable for machine translation tasks.

原始信息汇总

数据集概述：United Nations Parallel Corpus

数据集基本信息

• 名称: United Nations Parallel Corpus
• 别名: UNPC
• 语言: 阿拉伯语（ar）、英语（en）、西班牙语（es）、法语（fr）、俄语（ru）、中文（zh）
• 许可证: 其他
• 多语言支持: 多语言
• 大小: 10M<n<100M
• 源数据集: 原始数据
• 任务类别: 翻译

数据集配置

• 配置名称:
  • ar-en, ar-es, ar-fr, ar-ru, ar-zh
  • en-es, en-fr, en-ru, en-zh
  • es-fr, es-ru, es-zh
  • fr-ru, fr-zh
  • ru-zh

数据集详细信息

• 特征:
  • 名称: translation
  • 数据类型:
    • 语言: 每种配置涉及两种语言
• 数据分割:
  • 名称: train
  • 数据量:
    • 每个配置的训练数据量不同，范围从6447644160字节到12099649535字节
    • 每个配置的训练示例数不同，范围从17306056到30340652
  • 下载大小:
    • 每个配置的下载大小不同，范围从2554362693字节到5264326148字节
  • 数据集大小:
    • 每个配置的数据集大小不同，与训练数据量相同

数据集使用注意事项

• 许可证信息:
  • 数据集使用需遵守联合国提供的免责声明，具体内容包括但不限于数据集的准确性、完整性及使用风险等。
• 引用信息:
  • 引用时需注明数据集来源为联合国，并引用Ziemski, M., Junczys-Dowmunt, M., and Pouliquen, B. (2016)的论文。

搜集汇总

数据集介绍

构建方式

联合国平行语料库（United Nations Parallel Corpus）是全球首部源自联合国官方文件的多语平行语料库，由原始数据创建者公开发布。该语料库基于1990年至2014年间联合国六种官方语言（阿拉伯语、中文、英语、法语、俄语和西班牙语）的人工翻译文档构建而成。语料库的构建过程严格遵循联合国文件的原始对齐规范，涵盖所有语言对的双向对齐文本，并额外提供六语完全对齐的子语料库，确保了翻译内容的高质量与权威性。

特点

该语料库的核心特点在于其规模宏大且语种覆盖全面，包含超过十亿字节的多语言平行数据，具体配置涵盖15个语言对，如ar-en、en-fr等，每个语言对的训练样本数量均在千万级别。所有数据均源自联合国官方文件，经过人工翻译校对，具有极高的语言规范性和领域专业性。此外，语料库采用宽松的许可协议，允许自由下载与使用，为机器翻译研究提供了宝贵的基准资源。

使用方法

研究者可通过HuggingFace数据集库直接加载该语料库，调用时需指定具体语言对配置名称（如'ar-en'或'en-fr'），每个配置仅包含训练集（train）分割。数据以translation字段存储，包含源语言与目标语言的句子对，适用于训练神经机器翻译模型。建议在模型训练前对数据进行清洗与分词处理，并参考原始论文中的基线BLEU分数进行性能评估，以最大化利用该语料库的翻译质量优势。

背景与挑战

背景概述

联合国平行语料库（United Nations Parallel Corpus, UNPC）由Michał Ziemski、Marcin Junczys-Dowmunt和Bruno Pouliquen于2016年创建，旨在为机器翻译研究提供高质量的多语言平行文本资源。该语料库源自联合国1990年至2014年间官方文件的六种正式语言——阿拉伯语、中文、英语、法语、俄语和西班牙语——的互译文本，覆盖15个语言对，总样本量超过数千万句对。其诞生填补了大规模、多语种、高质量官方平行语料库的空白，为低资源语言对和跨语言自然语言处理研究奠定了坚实基础，推动了统计机器翻译和神经机器翻译模型的训练与评估，成为国际组织语言资源开放共享的典范。

当前挑战

该数据集所解决的领域挑战在于多语言机器翻译中高质量平行语料的稀缺性，尤其是联合国六种官方语言间的互译需求，涉及复杂句法结构、专业术语和文体一致性。构建过程中面临的技术挑战包括：从海量非结构化文档中提取并对齐多语言文本，需处理文档格式差异、段落划分不一致及时间跨度达25年的语言演化问题；确保语料库的完整性需平衡各语言对的样本规模，如中文-俄语对仅1790万句对，而英语-法语对达3034万句对，分布不均可能引入翻译模型偏见。此外，版权与法律框架的协调也是一大难点，需在开放许可下兼顾联合国文档的敏感性，最终以免责声明形式限定使用范围，保障数据可用性与机构权益的双重平衡。

常用场景

经典使用场景

联合国平行语料库（United Nations Parallel Corpus）是机器翻译领域一座里程碑式的双语对齐语料资源，覆盖阿拉伯语、中文、英语、法语、俄语和西班牙语六种联合国官方语言，共计15个语言对。该语料库源自1990年至2014年间联合国官方文件的职业人工翻译，语料质量严谨、领域涵盖政治、经济、人权、环境等多边外交议题。其经典使用场景在于为神经机器翻译模型提供大规模、高质量的训练数据，尤以低资源语言对（如阿拉伯语-中文、俄语-西班牙语）的翻译性能提升最为显著。研究者常将其作为基准评测集，检验跨语言语义建模与多语种翻译泛化能力。

解决学术问题

该数据集精准回应了机器翻译研究中平行语料匮乏与领域偏移两大核心困境。此前，多数公开语料库规模有限或局限于特定领域（如新闻、法律），难以支撑大规模多语种翻译模型的训练与评测。联合国平行语料库凭借其超2000万句对、覆盖六种语言的全平行对齐特性，为多语种翻译系统的公平性对比与跨语言知识迁移提供了标准化测试床。它推动了多语种翻译模型（如多对多翻译、零样本翻译）的学术探索，并成为衡量翻译质量与语料领域适配性的重要标杆，深刻影响了后续多语种NLP研究范式的演进。

衍生相关工作

围绕联合国平行语料库，学术界衍生出一系列经典工作。最为奠基性的是Ziemski等人（2016）发布的语料库构建论文及基于Moses统计机器翻译系统的基线系统，为后续研究提供了可复现的基准。此后，研究者利用该语料库训练了多语种Transformer模型（如mBART、M2M-100），探索大规模多对多翻译的可行性。同时，该数据集催生了针对语料噪声处理、领域自适应及低资源语言翻译增强等方向的研究，如基于回译的数据扩充方法、跨语言预训练模型的微调策略等，进一步拓展了多语种自然语言处理的学术疆域。