BAAI-MTP
收藏智源2023-10-18 更新2025-04-26 收录
下载链接：
https://data.baai.ac.cn/datadetail/BAAI-MTP
下载链接
链接失效反馈官方服务：
资源简介：
MTP由总计3亿条中英文关联文本对构成
应用场景：
提供机构：
智源研究院创建时间：
2023-09-14
相关数据集
WMT
WMT（Workshop on Machine Translation）数据集主要用于机器翻译任务，包含了多种语言对的翻译文本，如英语-德语、英语-法语等。数据集包括了平行语料库，即源语言和目标语言的句子对，以及单语语料库。
www.statmt.org12550
wenbopan/Chinese-dpo-pairs
这是一个精心策划的中文数据集，包含10K对参考数据。数据通过GPT-3.5从多个来源翻译而来，包括flan_v2、sharegpt、ultrachat、evol_instruct和false_qa等，这些数据是从argilla/ultrafeedback-binarized-preferences-cleaned中采样的。此外，还包括来自Intel/orca_dpo_pairs的open_orca
Hugging Face2024-04-02 更新8370
MT-PREF
MT-PREF数据集由电信研究所和高等技术学院等机构创建，旨在通过自动评估指标来模拟用户对机器翻译的偏好。数据集包含18,000个实例，覆盖18种语言方向，文本来源广泛，主要从2022年后的多个领域中提取。数据集的创建过程包括收集专业语言学家的质量评估，并使用XCOMET-XL+XXL指标进行偏好分析。MT-PREF数据集主要应用于机器翻译领域，旨在通过高质量的偏好数据集来提升翻译模型的准确性和安
arXiv2024-10-10 更新6400
wmt/wmt18
WMT18数据集是一个用于机器翻译任务的多语言数据集，包含了多种语言对的翻译数据，如捷克语-英语、德语-英语、爱沙尼亚语-英语、芬兰语-英语、哈萨克语-英语、俄语-英语、土耳其语-英语和中文-英语等。数据集的结构包括训练集、验证集和测试集，每个语言对的数据量有所不同。数据集的来源包括Europarl、News Commentary、OPUS ParaCrawl、SETimes和UN Multi等。
Hugging Face2024-04-03 更新8220
