five

MT-PREF|机器翻译数据集|偏好分析数据集

arXiv2024-10-10 更新2024-10-12 收录940
机器翻译
偏好分析
18,000条
资源简介:
MT-PREF数据集由电信研究所和高等技术学院等机构创建,旨在通过自动评估指标来模拟用户对机器翻译的偏好。数据集包含18,000个实例,覆盖18种语言方向,文本来源广泛,主要从2022年后的多个领域中提取。数据集的创建过程包括收集专业语言学家的质量评估,并使用XCOMET-XL+XXL指标进行偏好分析。MT-PREF数据集主要应用于机器翻译领域,旨在通过高质量的偏好数据集来提升翻译模型的准确性和安全性。
原始地址:
提供机构:
电信研究所, 高等技术学院, 里斯本大学, Unbabel, ELLIS里斯本单位, 卡内基梅隆大学, MICS, 中央理工-高等电力学院, 巴黎-萨克雷大学
开放时间:
2024-10-10
创建时间:
2024-10-10

MT-Pref 数据集概述

数据集简介

MT-Pref 数据集是一个用于机器翻译(MT)的偏好数据集,旨在通过自动评估指标来模拟用户偏好。该数据集包含 18,000 个实例,涵盖 18 种语言方向,文本来源包括多个领域,时间范围为 2022 年之后。

数据集内容

  • 数据来源: 数据集包含多个高质量机器翻译系统生成的翻译结果,并由专业语言学家进行句子级别的质量评估。
  • 自动评估指标: 数据集提供了多种自动评估指标的评分,用于分析这些指标在恢复人类偏好方面的能力。
  • 附加数据: 数据集还包括在 WMT23 和 FLORES 基准测试上训练模型的所有评估结果,以确保可重复性。

数据集链接

MT-Pref 数据集可通过以下链接获取:sardinelab/MT-pref

数据集用途

该数据集主要用于训练和评估机器翻译模型,特别是那些旨在更好地处理语言细微差别和上下文特定变化的模型。通过使用 MT-Pref 数据集进行训练,模型在 WMT23 和 FLORES 基准测试上的翻译质量显著提升。